agents.txt — AIエージェント向けドキュメントサイトマップ標準の提案

チューニングされていない一般的なAIエージェントがWebドキュメントから内容を探すとき、現状では人間のようにページを1つずつ開いていく方式です。
各HTMLページにはサイドバー、ヘッダー、フッターが付いてくるため、本当に必要な内容よりノイズのほうがはるかに多く、
651ページあるドキュメントサイトを探索するには数百万単位のトークンを消費します。

robots.txt はクローラーに「ここには入るな」と伝えるもので、
sitemap.xml は検索エンジンにURL一覧を渡すものですが、
どちらもAIエージェントが求めるページを素早く見つける助けにはあまりなりません。
llms.txt も自由形式の説明文なので、構造化されたナビゲーションには向いていません。

agents.txt は、ドキュメントサイトが /.well-known/agents.txt パスに配置する構造化インデックスファイルです。
AIエージェントはこの1つのファイルを読むだけで、651ページ基準で約3,200トークンで、
「プロンプトキャッシング関連のページはどこか」「Python SDKクイックスタートとは何か」といった質問に対して、ページをクロールせずに
すぐ答えを得られます。

この提案プロジェクトでは、claude-code、gpt-codex の公式ドキュメントに対するナビゲーションについて、TXT、MD、JSON、XMLの4つのフォーマットをサポートしています。
12種類のページタイプアノテーションと、SDKパターン圧縮機能も含まれています。
Vercelが agent-browser でトークン使用量を93%削減したのと同じ発想ですが、個別アプリではなくWeb標準のレベルでアプローチしています。

エージェントでデモをするのが最もよい方法だと思い、NAVIGATOR.md というエージェントをプロジェクトルートに用意してあります。
リファレンス実装は https://agentnav.baekenough.com で確認できます。

フィードバックをいただけるとうれしいです。