- Cloudflare RadarにAI Insights専用ページが追加され、AIボット・クローラートラフィック、DNSベースの生成AIサービスの人気度、robots.txtの指示、Workers AIモデルの利用トレンドを1画面で把握可能
- AIボットおよびクローラートラフィックのグラフは、ai.robots.txtリストをもとに主要UAの時系列/要約データを提供し、Radar API・Data Explorerによる詳細分析を支援
- 1.1.1.1 DNSデータを利用した生成AIサービスの順位は日次集計で変化の推移を示し、2025年1月末のDeepSeekの急上昇（1/26登場→1/29に3位）のような新興サービスの急激な変動を確認可能
- robots.txt分析は上位10,000ドメインのAI関連Allow/Disallow指示を集計してカテゴリ別のブロック傾向を可視化し、ニュース・メディア分野における広範な不許可傾向を表示
- Workers AIモデル/タスクの人気度は共有データをもとにモデル・タスク別の利用量トレンドと期間比較を提供し、急速に進化するモデルエコシステムの流れの理解に貢献
概要
- CloudflareはRadarにAI Insightsページを新設し、AI関連のトラフィック動向・サービス人気・アクセス制御・モデル利用を統合提供
- データソースは1.1.1.1 DNSトラフィック、ai.robots.txtユーザーエージェント一覧、Workers AI共有データ、Radar API/Data Explorer連携
AIボットおよびクローラーのトラフィック動向
- 上位5つのAIボット/クローラーの活動を期間別に可視化し、リクエスト強度・周期性の把握を提供
- ユーザーエージェント収集基準はai.robots.txtリストを参照し、継続的に更新
- 時系列/要約APIエンドポイントを通じてプログラムによるアクセスを支援
- Data ExplorerでAIボット全体集合に対する広域動向を探索可能
- 運用担当者は地域・期間・UA基準で異常トラフィックを点検可能
- 内部対応ポリシーとの相関分析に活用可能
生成AIサービスの人気
- 1.1.1.1 DNSリクエスト量を基に公開生成AIサービスの相対順位を日単位で提供
- 2023/2024年次レビューではChatGPTの1位継続を記録
- 2025年1月末には6～10位圏の変動性が高く観測
- DeepSeekは1月26日の初登場後、1月29日に3位へ急上昇
- 急成長する新興サービスの検知に有用な高頻度順位データを提供
- Radar APIで
serviceCategory=Generative%20AIパラメータにより元データの時系列へアクセス可能
robots.txtファイル分析
- 上位10,000ドメインを定期的に収集し、AI関連のAllow/Disallow指示を集計
- グラフは完全許可/不許可・部分許可/不許可をユーザーエージェント別に要約
- ニュース・メディアカテゴリではAI UAに対する広範な不許可傾向を表示
- Allow指示基準では明示的に許可するサイト数が大きく減少
- UA未記載およびワイルドカード不在時はデフォルトで全面許可として動作する点に注意
- Radar API・Data Explorerでボット別/指示別のフィルタ分析を支援
Workers AIモデルおよびタスクの人気度
- Workers AIで公開サポートされるモデル・タスク(Task)の利用トレンドを共有データベースで可視化
- モデル人気度/タスク人気度をそれぞれ時系列・要約で提供
- Data Explorerでは期間比較(timeCompare)機能により前月比の増減を分析可能
- モデル例: テキスト生成、画像生成、音声認識、画像分類など多様なタスクをカバー
- 新たな高性能モデルの公開時に早期可視化を通じて先手の対応に活用可能
結論と示唆
- AIエコシステムは急激な変動性を示し、新興サービスが短期間で急成長する事例が多数
- 生成サービスの拡大とともにコンテンツスクレイピング・著作権・アクセス制御の課題が継続的な緊張関係にある
- AI Insightsページはトラフィック・人気・アクセス制御・モデル利用を統合的に提供し、業界ウォッチャー・実務担当者のタイムリーな動向把握に有用
- 運用担当者はRadar API・Data Explorerを通じた自動化された監視・レポーティング体制を構築可能
- robots.txt指示戦略とCDN/セキュリティポリシーを連携させてAIボット対応を高度化可能
まだコメントはありません。