LLMの永続的なハルシネーション現象、私たちが受け入れるべき現実

LLMs Will Always Hallucinate, and We Need to Live With This

序論

• 大規模言語モデル（LLM）がさまざまな分野で広く使われるにつれ、その固有の限界を批判的に検討することが重要である
• 本研究は、言語モデルのハルシネーションが単なる誤りではなく、こうしたシステムに不可避の特徴であると主張する

ハルシネーションの本質

• ハルシネーションは、LLMの根本的な数学的・論理的構造に由来する
• アーキテクチャの改善、データセットの向上、ファクトチェック機構によってこれを取り除くことは不可能である
• 計算理論とゲーデルの第一不完全性定理に基づき、停止問題、空白問題、受理問題のような問題の決定不能性を参照する

LLMプロセスのあらゆる段階で生じるハルシネーション

• 学習データの収集、事実検索、意図分類、テキスト生成のすべての段階でハルシネーションが発生する確率がある
• 構造的ハルシネーションという概念を導入し、こうしたシステムの本質的な特性として位置づける

結論

• ハルシネーションの数学的確実性を確立することで、これを完全に緩和できるという従来の考え方に異議を唱える

GN⁺の要約

• この研究は、LLMのハルシネーションが必然であることを数学的に証明し、完全には除去できないことを強調する
• 計算理論とゲーデルの不完全性定理を通じて、ハルシネーションの本質を説明する
• LLMのあらゆる段階でハルシネーションが発生しうることを示す
• この研究は、LLMの限界を理解し、それを受け入れることが重要であることを示唆する

[GN⁺]

Hacker Newsの意見

• 数学的確実性によってハルシネーションを証明することで、ハルシネーションは完全に解決できるという従来の考え方に異議を唱えている

  • 「ハルシネーション」という用語は、モデルの正常な機能に問題があるという認識を与えるため、別の用語を選んでいれば誤解を避けられたはずだ
  • ハルシネーションはモデルの誤作動ではなく、生成されたテキストが目的に合っていないという価値判断である
  • ハルシネーションを減らすことと「アラインメント」を実現することは同じ問題である

• ハルシネーションは、質問に対する最初の可能な回答を述べる結果である

  • 人間はほとんどの質問について以前に答えた経験があり、ミスを覚えていて繰り返さない
  • 人間は話す前に考え、初期反応を他の知識と関連付ける
  • LLMが即座に正しい答えを生成すると期待すべきではない
  • 人間の思考過程には多様な役割やペルソナがある
  • 最初の「下書き」の回答が形成されてから初めて、追加の文脈が生成される
  • LLMの最初の「直感的反応」に基づいて知能を評価するのは誤った判断である

• 現在のアーキテクチャには根本的に「ハルシネーション」が内在しており、実用的な利用を制限している

  • この記事では、「ハルシネーションしない」ことの不可能な限界を提示している
  • 形式的システムと機械的計算の根本的な限界を再確認している
  • この限界は人間にも当てはまる

• LLMのハルシネーションは、知識を表現する方法と関係している

  • モデルがハルシネーションするときでも、依然として学習されたとおりにもっともらしいテキストを生成している
  • 学習データの一般的なパターン、つまり文法や語の選択に依存している
  • 適切なアーキテクチャ変更によってハルシネーション問題を解決できる可能性がある
  • しかし、そのような変更が効率的なモデル学習と両立するかどうかは未知数である

• 不完全な学習データは測定する価値がない

  • 不完全なデータは学習の本質である
  • 完全なデータがあるなら機械学習は不要で、入力を出力にマッピングする関数を作ればよい
  • 機械学習とは、予測に基づいてギャップを埋めることである
  • 人間の知能と学習にも同様に当てはまる
  • LLMは常にハルシネーションするだろうが、人間も常にハルシネーションする
  • 真の問題は、LLMが人間のようにハルシネーションするようにすることである

• LLMは「エキスパートシステム」のようなものになっていくだろう

  • AIの専門家として自分を限定しないよう勧めている

• LLMと効果的に協働するには、本質的に信頼できず非決定論的な技術を使いこなす能力が必要である

  • 多くの人はこの障害を乗り越えるのが難しい

• いまこそバブルが弾ける時だ

• 私たちはLLMを「受け入れる」必要はない

  • 使わない、無視する、あるいは普及と受容に反対することもできる

• この論文は拙い書き方で、意味のある数学理論が構築されたとはあまり思えない

  • 例: 最初の10ページは意味のない内容である