- Cloudflareは、Webサイト所有者がAIモデル提供事業者に対して自サイトのコンテンツをスクレイピングするアクセス権を販売できるマーケットプレイスを来年立ち上げる計画を発表
- このマーケットプレイスは、Cloudflare CEOのMatthew Princeによるより大きな構想の最終段階であり、パブリッシャーがAIボットによるWebサイトのスクレイピング方法と時期をより適切にコントロールできるようにするもの
- その第一段階として、Cloudflareは無料のobservabilityツールであるAI Auditを公開
- Webサイト所有者には、AIモデルがサイトをどの程度の頻度でスクレイピングしているかの分析を確認できるダッシュボードが提供される
- AI Auditを通じて、Webサイト所有者はAIボットをブロックしたり、特定のWebスクレイパーを許可したりできる
- AI Auditのデモでは、Webサイト所有者が各スクレイパーの発信元を確認でき、OpenAI、Meta、AmazonなどのAIモデル提供事業者がサイトをどの程度の頻度で訪れているかを見られる選択ウィンドウも提供される
- AI業界の課題への対応
- AIモデル提供事業者は、何千もの小規模Webサイトをスクレイピングし、LLMを動かす情報源として利用している
- ほとんどのWebサイトは何の対価も受け取っておらず、これは多くのWebサイトのビジネスモデルを壊しかねない
- Cloudflareは、Webサイト所有者がAIボットをブロックできるボタンを公開
- 顧客要件の反映
- Cloudflareの顧客は、どのAIモデルがサイトにアクセスできるかを選択できるツールを求めていた
- Cloudflareの新しいツールは、一部のAIクローラーをブロックしつつ、他のクローラーは許可できるようにする
- マーケットプレイスの目標
- Cloudflareのマーケットプレイスは、小規模なパブリッシャーがAIモデル提供事業者と取引できるようにする
- Webサイトはスクレイピング料金を設定したり、AI研究所にクレジットを要求したりできる
- AIエコシステムへの影響
- 現在、一部のAI企業がコンテンツに対してまったく費用を支払っていない状況は持続可能ではない
- CloudflareのCEOは、このマーケットプレイスが最終的にAIエコシステムにとって良いものになると考えている
GN⁺のまとめ
- Cloudflareは、Webサイト所有者がAIモデル提供事業者に対して自サイトのコンテンツをスクレイピングするアクセス権を販売できるマーケットプレイスを立ち上げる計画を発表
- AI Auditツールにより、Webサイト所有者はAIモデルがサイトをどの程度の頻度でスクレイピングしているかを分析できる
- このマーケットプレイスは、小規模なパブリッシャーがAIモデル提供事業者と取引できるようにし、コンテンツに対する対価を得られるようにする
- これはAIエコシステムの持続可能性を高めることに寄与する可能性がある
2件のコメント
趣旨は良いですね
Hacker Newsの意見
Common Crawl は OpenAI や Anthropic とともに「Providers」一覧に含まれている
OpenFoodFacts、OpenStreetMap、Wikipedia は DDoS 攻撃を受けている
クローリングを防ぐことは無意味な作業かもしれない
Cloudflare は新しい方法で濫用から保護するサービスを提供している
World Wide Web の未来への疑問
Cloudflare ブログでさらに詳しい情報を確認できる
AI Audit を使った Bingeclock の例
次の段階: 生成 AI を使ってコンテンツを生成し、Cloudflare がそれをスキャンするたびに支払いを受け取る
同じサイトを繰り返しスクレイピングするのは大きな無駄である