Cloudflare対Perplexity論争。だが、ウェブユーザーなら誰もが知っておくべきこと。

🚨 事件の概要

2025年8月4日、CloudflareはAI検索エンジンのPerplexityを「ウェブ標準違反者」として公開で批判した。

⚔️ 両者の主張

Cloudflareの主張：「ステルス・クロール」

• Perplexityがクローリングのブロックを4段階で回避した
  1. 公式ボットとしてアクセスを試みる
  2. ブロックされると即座に戦術を変更
  3. Chromeブラウザを偽装
  4. IPアドレスを切り替えながら再アクセス
• robots.txtでブロックしたサイトからも無断で収集し要約を提供

Perplexityの反論：「ユーザーの代理エージェント」

• 従来のクローラーではなく、ユーザーリクエスト処理用AI
• コンテンツを保存せず、リアルタイム回答にのみ使用
• CloudflareがBrowserBaseトラフィックを誤って分析したと主張

💡 著者の見解：Cloudflareの方が合理的

1. 身元の偽装は正当な行為ではない
2. robots.txtは1994年から守られてきたウェブ標準
3. 元サイトの収益を奪う寄生的構造
4. OpenAIのように標準を遵守する模範的な事例が存在

🔮 将来の見通し

• AI時代向けのrobots.txt改訂
• AIクローラー認証システムの構築
• コンテンツアクセスの有料化の拡大
• 法的規制の強化