RAGは死んでいない

> RAGの未来は「より大きなコンテキストウィンドウ」ではなく、より優れた検索にある

• 「RAG Is Dead」という言葉が当てはまるのは、2023年式の単純なRAG実装方式に限られ、本当の問題は情報損失の大きい単一ベクトルベースの検索にある
• 既存のIR評価指標はRAGに適しておらず、事実の網羅性・多様性・関連性を中心とした新しい評価基準が必要
• RAGの検索器は単純なマッチングを超え、指示を理解し推論ベースで関連文書を選択する方式へと進化している
• ColBERTスタイルのレイトインタラクションモデルは、情報圧縮なしにトークン単位の表現を維持し、小規模モデルが大規模モデルを上回る
• 完璧な埋め込みを1つ見つけるのではなく、多様な表現のための複数インデックスとスマートルーティング構造が新たな標準になりつつある

---

Why the future of RAG lies in better retrieval, not bigger context windows

「RAGは死んだ」という主張への反論

> Part 1. I don’t use RAG, I just retrieve documents - 単純なベクトル検索が死んだのであって、RAG自体ではない

• HamelとBen Claviéは、RAGは死んでおらず、むしろ検索アーキテクチャが進化すべき時点だと主張する
• ベクトルDBに文書を入れ、コサイン類似度で検索する方式は古く、情報損失も大きい
• LLMは学習時点以降の情報が固定されるため、検索ベースの情報注入（RAG）は依然として重要
• コンテキストウィンドウを広げるだけで全情報を投入するのは非効率

誤った評価指標

> Part 2. Modern IR Evals For RAG - 従来のIR評価指標がRAGに合わないことを説明し、FreshStackを提示

• Nandan Thakurは、従来の情報検索（IR）評価指標はRAGに適していないと指摘する
  • BEIRのようなベンチマークは1位文書の探索だけを最適化している
  • RAGでは事実カバレッジ、多様な観点、文脈関連性などを総合的に考慮する必要がある
  • そのための新しい評価システムとしてFreshStackを提案する

推論する検索器

> Part 3. Optimizing Retrieval with Reasoning Models - 指示を理解し推論可能な検索器の設計

• Orion WellerのRank1システムは、検索器が**「データプライバシーに関するメタファーを含む文書」**のような複雑な指示を理解する
• 単純な類似度計算ではなく、**明示的な推論経路（reasoning trace）**を生成し、関連性判断の根拠を提供する
• 既存の検索システムでは見つけられない文書を、理解と推論ベースで探索可能

レイトインタラクションモデルの可能性

> Part 4. Late Interaction Models For RAG - ColBERTのような構造で情報損失なく表現を維持

• Antoine ChaffinはColBERTのようなLate Interactionベースのモデルを通じて、
  • 文書を単一ベクトルに圧縮せず、トークン単位の情報を維持し
  • その結果、1.5億パラメータのモデルが7Bモデルより推論性能に優れる事例も存在する
• 情報を失わずに保持する表現構造が核心

1つのマップではなく複数のマップが必要

> Part 5. RAG with Multiple Representations - 目的別の複数インデックスによる検索性能向上

• Bryan BischofとAyush Chaurasiaは、1つの埋め込みだけでは多様な検索目的を満たせないと指摘する
  • 例: 画像検索では
    • 文字による説明
    • 詩的な解釈
    • 類似画像
      をそれぞれ異なるインデックスから探す構造
• 結論: 完璧な埋め込みを探すのではなく、多様な表現方式に合わせた複数インデックス + インテリジェントなルーティングシステムが必要

RAGの未来戦略

次の4点がRAGの未来として提示される:

• 利用目的に合った新しい評価基準の構築
• 指示を理解し推論する検索器
• 情報を圧縮せずそのまま表現する構造
• 多様な目的別インデックスを組み合わせ、スマートにルーティングする方式

Annotated Notes From the Series

このシリーズは全5部構成で、主要スライドにタイムスタンプを付けて要約を提供している。各Partごとのリンクを参照

パート	タイトル	説明
Part 1	I don’t use RAG, I just retrieve documents	単純なベクトル検索が死んだのであって、RAG自体ではない
Part 2	Modern IR Evals For RAG	従来のIR評価指標がRAGに合わないことを説明し、FreshStackを提示
Part 3	Optimizing Retrieval with Reasoning Models	指示を理解し推論可能な検索器の設計
Part 4	Late Interaction Models For RAG	ColBERTのような構造で情報損失なく表現を維持
Part 5	RAG with Multiple Representations	目的別の複数インデックスによる検索性能向上

[ide127]

「完璧な埋め込みを探すのではなく、多様な表現方式に合わせたマルチインデックス + インテリジェントなルーティングシステム」

それが簡単じゃないから…。