問題があるならIPレベルでブロックしてください

• 最近Webトラフィックを分析していて、ThinkbotというWebボットが最も多くのトラフィックを発生させていることを発見した
• このボットはrobots.txtを無視し、自己紹介文も単に「問題があるならIPをブロックしろ」と言わんばかりで、非常に不誠実だった
• 1か月の間に74個の異なるIPを使用し、それらは41個のネットワークブロックに分散していた
• 調査の結果、これらすべてのネットワークブロックはTencent所有であり、これがGreat Firewallのコスト転嫁の可能性と結びつくのではないかという疑念が生じた
• 最終的に約47万件以上のIPを含む大規模なブロックルールを追加した

---

Thinkbotの出現

• Webトラフィックの分析中、Thinkbotという名前のWebボットが上位のシェアを占めていることを発見した
• User-Agent文字列は次のような不誠実なものだった
  > “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In­_the­_test­_phase,­_if­_the­_Thinkbot­_brings­_you­_trouble,­_please­_block­_its_IP_address._Thank_you.)”.
  • 「テスト段階で問題になるならIPをブロックしてください」という文句以外に、参照URLすらない
• robots.txtファイルをまったく尊重せずにクロールを進めていた
• Webサイト運営者としてこれをブロックしようとしても、単一IPではなく74個のIPアドレスを使用していた
• これを逆追跡してASNを調べた結果、41個のネットワークブロックから発生していた
• これは単純な単一IPブロックでは防御できないことを意味する

Tencentとの関連性

• この41個のネットワークブロックはすべてTencent所有だった
• 筆者は、中国政府がこれを黙認または奨励している可能性があり、外部世界にGreat Firewallのコストを転嫁しようとする試みと解釈できるのではないかと疑っている
• 中国国内ではコンテンツ収集が許容され、外部でブロックされてもCCPの立場では問題にならない一方、ブロックを試みる他国や他サイトには負担として作用する

ファイアウォールによるブロック措置

• 筆者は自らbadbotsファイアウォールルールにTencentのネットワークブロックを追加した
• 例: 43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 など
• 合計40超のネットワークブロックを追加し、これがTencent所有IPの全体を網羅しているわけではないものの、476,590件以上のユニークIPを含む

結論と比喩

• 筆者はこのような状況を「インターネットではもはや良いものを持てない」という現実として表現している
• 単なるボットトラフィックの遮断を超えて、インターネット生態系全体の信頼低下と不可避な防御的対応を示す事例だ