Googlebotの大半は偽物

サイト障害を引き起こすほど大量のリクエストを送るGooglebotの事例の多くは、Googleではなく Googlebotを装った外部ボット によるもの
HTTP User-Agent はリクエスト送信者が任意に指定できるため、ログ内の Googlebot/2.1 という文字列だけでは 本物のGooglebotである保証にはならない
偽装ボットはブロックを回避するためにGooglebotの名前を使っており、複数のホスティング事業者のサーバーを動員した 単一の大規模な悪性クローラーキャンペーン である可能性もある
本物のGooglebotかどうかは host コマンドやGoogleが公開した IPレンジ で検証すべきであり、登録者がGoogle LLCのIPでもGoogle Cloudのアドレスである可能性があるため追加確認が必要
Googlebotトラフィック全体の過半が偽物だというデータはないが、サービスを妨害するGooglebotトラフィック は主に偽装ボットから発生しているとみられる

Googlebotトラフィックをめぐる誤解

Googlebotに見えるリクエストには通常、次のような値が含まれる
- User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
nginxのログにも同じ文字列が記録されうるが、User-Agentヘッダー はリクエスト送信者が望む値に自由に設定できる
User-Agentは検証済みの認証情報ではなく自発的な自己識別にすぎないため、誰でもGooglebotだと名乗れる

偽装の主体は既存のボットブロックを回避するためにGooglebotのUser-Agentを使っているとみられる
例示されたログのIPはGoogleではなく、ホスティング事業者 Virtual Machine Solutions LLC が提供したサーバーだと確認されている
Googlebotのなりすましは以前からよく使われる手口であり、最近はその規模が大きくなっているように見える
Chris Siebenmann は、古い手口が各所で同時に流行したというより、複数のホスティング事業者で多数のサーバーを確保した 単一の悪性クローラーによる大規模キャンペーン である可能性を示している

GoogleのGooglebot検証ドキュメントに従って数回 host コマンドを実行するか、Googleが公開しているIPレンジと照合できる
主要なクローラーの多くはIPリストを公開しているが、具体的な形式や運用方法はそれぞれ異なる
JAFAR はクローラーのIPリストを標準化しようとする提案で、まだ 標準化手続き が進行中である
IP登録者がGoogle LLCと表示されても、Google Cloudのホスティングアドレスである可能性があるため、別途検証が必要
- Google Cloud経由の最近の偽装事例は確認できていない
検証の結果、本物のGooglebotが過剰にクロールしているなら、Googleの過剰クロール対処ドキュメントに従うべきである

単にフィールドを1つ追加しても、悪意ある行為者がその値を正直に設定する理由はない
RFC 3514 のいわゆる evil bit は、悪意ある主体がこうした標準に従わないことを風刺している
Web Bot Auth HTTP Signatures は別フィールドより複雑だが、暗号学的署名 によって信頼できるUser-Agentを実現しようとする方式である