長いコンテキストの問題を解決する方法

• 長いコンテキストを使用する際に発生する代表的な問題として、コンテキスト汚染、混乱、衝突、散漫化など、さまざまな情報管理上の課題が存在する
• 情報管理が中核であり、誤った情報は結果の品質に直接的な悪影響を与える
• 主な解決策としては、RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading などの戦術が効果を示す
• 最新のLLMのコンテキストウィンドウが大きい場合でも、不必要な情報の濫用は依然として現実的な問題を引き起こす点に注意が必要である
• 各戦術は、エージェント設計者がコンテキストを体系的に管理し、効率性と正確性を高めるうえで大きく役立つ

---

長いコンテキストで発生する問題と要約

長いコンテキストを使用する際にシステムで発生しうる代表的な失敗パターンは次のとおり

• コンテキスト汚染: 幻覚(hallucination)や誤りがコンテキストに含まれ、繰り返し参照される問題
• コンテキストの散漫化: コンテキストが長くなりすぎ、モデルが本来の学習内容ではなくコンテキストのみに集中してしまう現象
• コンテキストの混乱: 不要な情報が追加されることで、品質の低い応答を生成してしまう状況
• コンテキストの衝突: 新たに追加された情報やツールが既存の情報と衝突する場合

これらの問題はすべて情報管理に起因しており、プログラミングにおける「Garbage in, garbage out」という格言のように、入力情報が結果に大きな影響を与える。
幸い、さまざまな戦術によってこのような問題を効果的に緩和または予防できる

主なコンテキスト管理戦術

---

RAG (Retrieval-Augmented Generation)

• RAGとは、必要な情報だけを選んでLLMに提供し、応答品質を高める方式である
• LLMのコンテキストウィンドウが大きくなるにつれ、「すべての情報を入れよう」という試みが増えているが、不要な情報はかえって結果を損なう
• RAGは現在でもなお非常に重要な技術として活用されている

Tool Loadout (ツール構成の選択)

• 必要なツールだけを選択的にコンテキストへ挿入する方法
• ツール説明をベクターDBで管理し、プロンプトごとにRAGを活用して最適なツールを選択する
• ツールが30個を超えるあたりから説明の重複による混乱が発生し、100個を超えるとモデル性能が急激に低下する
• 「Less is More」論文では、Llama 3.1 8bは46個のツールを提供すると失敗するが、19個だけを提供すると成功する
• 動的に必要なツールを選べるようにLLMベースの推薦器を使用し、その結果、性能・速度・電力効率のすべてが向上した

Context Quarantine (コンテキスト隔離)

• コンテキストを分離されたスレッドごとに管理する方法
• 調査、探索などの問題を複数の部分に分割し、それぞれを別個のエージェント(Agent)が担当するように設計する
• Anthropicのmulti-agentシステムでは、サブエージェントごとに独立したコンテキストウィンドウを使用し、効率性と精度を高めている
• この設計は、特に複数の方向を同時に探索する必要がある課題で強みを発揮する

Context Pruning (コンテキスト枝刈り)

• 不要な情報や古い情報を継続的にふるい落とす方法
• NLP分野では古くからさまざまなpruning手法が活用されてきた
• 最近では、Provenceのような軽量かつ高速なコンテキスト「整理」専用モデルも登場している(1.75GB、文書を95%圧縮可能)
• コンテキストを辞書などの構造化された形式で管理すると、枝刈りや要約(圧縮)が容易になる

Context Summarization (コンテキスト要約)

• コンテキスト長が長くなったときに全体を圧縮・要約する方式
• 単にウィンドウ制限を超えないように保つためだけでなく、不要な反復や散漫化を防ぐうえでも効果的である
• 圧縮段階では、どの情報を保持するかを定義することが重要である
• 別個のLLM-powered要約ステップを通じて、評価データを蓄積・改善できる

Context Offloading (コンテキストオフロード)

• コンテキスト外部にメモリ空間を作って記録を残す戦略
• 例として、Anthropicの「think」toolは専用のscratchpadを用意し、LLMが必要な中間メモを残せるようにしている
• ツール出力分析、ポリシー検証、逐次的意思決定などで有用に適用される
• 中間結果を別途保管することで、コンテキストが不要に汚染されたり複雑化したりするのを防げる
• 性能および正確性の向上が見られ、最大54%まで改善するケースも確認されている

結論とエージェント設計時の注意点

• コンテキスト管理こそが、エージェント設計において最も難しい部分である
• LLMをプログラミングする際、情報、ツール、文脈などをどう組み合わせ、どう管理するかが成否を左右する
• コンテキストウィンドウがどれほど大きくても、すべての情報が役に立つわけではない。
• 各項目が実際に有効に機能しているかを点検し、上述の6つの方法(RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading)によってコンテキストを積極的に管理する必要がある