Cloudflare、エージェント向けMarkdown変換配信機能を導入

• AIクローラーとエージェント中心のトラフィック増加に伴い、Webコンテンツを人だけでなく機械が直接消費する構造へ移行中
• HTMLをMarkdownに変換するとトークン使用量が約80%減少し、コストと処理効率が改善
• Accept: text/markdown ヘッダーに基づくリアルタイムHTML→Markdown変換をネットワークレベルでサポート
• x-markdown-tokens、Content-Signal ヘッダーでトークン数の推定値とAI活用ポリシーもあわせて提供
• AIボットのコンテンツ消費方式をRadarで追跡可能で、Pro以上のプランでベータ版を無料提供

---

背景: AIエージェント中心へ変わるWebトラフィック構造

• オンラインコンテンツの発見方法は、従来の検索エンジン中心からAIクローラーとエージェント中心の構造へ急速に移行中
  • これまではSEOがトラフィックを左右していたが、今では構造化データを求めるAIシステムが主要な消費主体として登場
• 企業は人間の訪問者だけでなく、**エージェントを第一級の存在（first-class citizen）**として考慮すべき状況
• 従来のWebは人間向けに設計されたHTMLベースの構造であり、AIが処理するには不要な要素が多すぎる状態

なぜMarkdownなのか

• HTMLはセマンティックな意味と無関係な <div>、<script>、ナビゲーション要素などによってトークンを浪費する構造
  • 例: ## About Us は約3トークンだが、同等のHTML <h2 class="section-title"...> は12〜15トークンを消費
• このブログ記事基準でHTML 16,180トークン → Markdown 3,150トークンとなり、約80%のトークン削減
• Markdownは明示的な構造を提供し、AIの処理効率と結果品質を改善
• 現在、ほとんどのAIパイプラインはHTML→Markdown変換段階を含んでいるが
  • 計算コストの増加
  • 処理の複雑化
  • 作成者の意図と異なる可能性が存在

Markdown for Agents: ネットワークレベルの自動変換

• CloudflareネットワークでリアルタイムHTML→Markdown変換をサポート
  • Enabled zoneではcontent negotiationベースで動作
• クライアントが Accept: text/markdown ヘッダーを含めてリクエストすると
  • originから元のHTMLを取得した後
  • ネットワーク上でMarkdownに変換して返却
• レスポンス例
  • content-type: text/markdown
  • vary: accept
  • x-markdown-tokens: 725 ヘッダーを含む
• x-markdown-tokens はMarkdownドキュメントの推定トークン数を提供
  • コンテキストウィンドウの計算
  • チャンク化戦略の決定などに活用可能

Content Signals Policyとの連携

• Content Signals フレームワーク と統合
• Markdownレスポンスにはデフォルトで
  • Content-Signal: ai-train=yes, search=yes, ai-input=yes ヘッダーを含む
• AI学習、検索、エージェント入力での利用許可可否を明示可能
• 今後はユーザー定義ポリシーのオプションも提供予定

適用事例: Cloudflare Blog & Developer Docs

• Developer DocumentationとBlogで機能を有効化
• curl -H "Accept: text/markdown" リクエスト時にMarkdownを返却
• レスポンス上部にYAMLメタデータを含む
  • title
  • description
  • image などの構造化情報を提供

Cloudflare外部ドキュメントを変換する方法

• Workers AI AI.toMarkdown()
  • HTMLを含むさまざまな文書形式の変換と要約をサポート
• Browser Rendering /markdown REST API
  • 実際のブラウザレンダリング後のMarkdown変換をサポート
  • 動的ページの処理が可能

Markdown利用の追跡: Cloudflare Radar

• Radar AI Insightsでcontent_typeディメンションを追加
  • AIボットおよびクローラー向けに返されたコンテンツのMIMEタイプ分布を確認可能
• 特定エージェントごとのMarkdownリクエストをフィルタリング可能
  • 例: OAI-Searchbot(GPTBot)
• 公開APIおよびData Explorerを通じてデータにアクセス可能

開始方法と提供範囲

• Cloudflare Dashboard → Zone選択 → Quick Actionsから機能を有効化
• Pro、Business、EnterpriseプランおよびSSL for SaaS顧客が対象
• 現在はベータ段階で、無料提供
• 詳細情報はDeveloper Docsで確認可能