カテゴリー: ウェブ魚拓

最新
しばらくこちらに追記していきます。

5/7 18:15
「5分以上かかる」というご報告を何件かいただいておりますが、同一URLを交えた本番よりリソース大幅に抑えた試験環境の負荷試験でも特に発生せず、調査中です。ログでも240秒以上をWARNINGとしておりましたが、まだ確認できておりません。以下の対策を行いました。

・取得のコンピュータリソースを大きく強化しました
・ログの取得を強化しました。(本件の変更におけるログに取得者のIPアドレス等情報は含んでおりません)
・遅延読み込み用のスクロールの距離を強化しました。

ひきつづき情報を募集しております。秒数カウント画面に行く前に五分かかる、行ってから5分かかる等の情報もあればありがたいです。
以上どうぞよろしくお願いいたします。



5/4 19:00は以下です。

・一部408エラーの修正
・エラー時のレスポンスが返せていなかった場所を修正
引き続きお気づきの点ございましたらご報告よろしくお願いいたします。

5/4 0:30は以下です。

60回から30回に制限が減った理由をお問い合わせいただいておりますが、理由は以下の通りです。

・ウェブ魚拓の運営において現在最もコストがかかっているのは取得となります。
・取得はクラウドを利用しており、原価はすべて米ドルとなります。
・60回制限と決定したときより、ウェブコンテンツのリッチ化、および米ドルとクラウド料金の高騰から月により揺らぎがありますが、3.0~3.8倍になっております。
・広告表示もプラットフォームのコンテンツ内容判断の厳格化から現在停止しておりますが、こちらは内容が広告に慮ることは許容されないものであると考えておりますため、別な方法を考えております。

以上となり、30回でいったん様子を見させていただく形となりました。
ご理解いただけますと幸いです。


修正内容は下記のとおりです。

ログなどをチェックし問題が起きていた取得を修正しました。
・巨大なファイルのタイムアウトを早めました。
・通常のブラウザ閲覧では気づきづらいところですが、ボット対策のリダイレクトの処理などが入っているページの取得を修正しました。

いただいたご意見を確認し取得ボタンと注意書きの位置を修正しました。
条件が重なると非常に長い時間がかかるというご報告も受けておりますが、現在調査中です。
引き続きお気づきの点ございましたら大変ありがたく思います。

ウェブ魚拓のやや大きいバージョンアップを行います。
5/1 AM 7:00～、2~3時間ほどを予定しておりましたが、一旦終了を未定とさせていただきます。再度の修正ご容赦ください。(APIと本番環境との連携がうまくいかないため)

追記　同日19:30終了いたします。


影響は通常サーバー・有料専用サーバー両方となります。
急な予告となってしまい申し訳ございません。

なお取得に影響がありますため月額料金をお支払いいただいているご利用者様におきましては期待通りの結果が出なかったという場合を考慮し、翌月2024年5月末日までご利用停止の際、1か月分の返金請求を理由不問で承ります。

バージョンアップの一つに関しましては、現時点では問題ないですが、今後運用していくにあたって弊社のシステムに影響が起こるかもしれない脆弱性を含みうると考えられる部分があったためです。
予防措置となりますので影響はアップデート以外ございません。

この変更は技術的にはパラメータ1つの変更ですが、
別途事前に無関係な理由で準備しておりましたアップデートに適しておりましたため、そちらも適用いたします。ご要望に関しましては取り入れたものや代替となるものを用意したつもりです。

1. 取得とその内容に大きな影響があります。
   • 高速化します。
   • 取得中にページを閉じても取得は継続されます。
   • 魚拓を取れるページと取れないページが異なる可能性があります。弊社テストでは現時点で、レンダリングまで到達でき、サイズも時間もオーバーしていずに保存が失敗するページは確認できていません。しかしあくまで試験的なものであるため、問題は出ると思われます。今後ともご意見お願いいたします。
   • HTMLのコンテンツの一部の取れるコンテンツと取れないコンテンツが変わります。特にHTMLElementの背景画像の類は取得ができない場合があります。改善予定です。
   • 画像はほとんどがAVIF(クオリティ60)に変換されます。200×400のエレメントで2000×4000等の画像をpng(クオリティ100)で表示するといったふるまいをするページが増えてきました。これは保存にも表示がかなり厳しいためです。ご容赦ください。なお、AVIFはすべてのモダンブラウザで対応が完了しております。取得の画像が表示されない場合、ブラウザのアップデートをご検討下さい。
2. 調整中となりますが、取得制限が30回に減ります
   • 取得ミスの減少、コンテンツの肥大化がございます
3. 試験的な機能としてSHA-256を表示します
   • 補足1 : 単一ファイルにまとめる時以前の保存方法の場合、documentcontentのみSHA-256になるため、期待した値にはなりません。
   • 補足2：これはWeb上のWARC形式等では少し実現が難しい機能と考えられます
4. 「私はロボットではありません」による精度の向上により、robotの制限を終了します。
   • 主にno-archive等の制限です
5. 削除に対するカウンタークレームの手続きと、削除済みの魚拓を資料請求をQAに明記します。
6. その他、バグの修正、URL10000文字まで対応、タイトルの絵文字対応等の機能追加がございます。

以上どうぞよろしくお願いいたします。

ウェブ魚拓をご利用いただきありがとうございます。
本日9時頃まで502エラーが発生する障害が発生しておりました。

取得が集中すると発生することを確認しており、
現在対策を開発中ですが、もうしばらく対策の適用までお時間いただくことご了承ください。

なお有料用サーバーにおきましては問題は発生しておりませんでした。

お手数をおかけいたしまして申し訳ございません。
以上どうぞよろしくお願いいたします。

平素よりウェブ魚拓をご利用いただきありがとうございます。
ウェブ魚拓はrobots.txtによるロボット禁止、あるいはメタタグによるnoindexとnoarchiveどちらかが指定されていた場合取得を禁止としておりましたが、
この度、robots.txtの内容とメタタグのnoindexによる判定を廃止し、メタタグのnoarchiveのみを取得の禁止とすることとしました。

robots.txtの方針につきましてはもともと「私はロボットではありません」いう判定をウェブ魚拓に追加したことで修正する予定でした。
また、メタタグのno～のindexとarchiveは単語の通り意味合いが異なり、
noindexを廃止する計画はありましたが、認知がある程度進んでから行うこととしておりました。
特に昨今のSNSは政治含む公的な意見発信の場としての性質が強くなっている背景があり、この度修正が急務と感じました。なお、noarchiveも今後どうしていくか検討をし、現時点の判断からまた変更となるかもしれません。


以上どうぞよろしくお願いいたします。