確かな幻想: 大規模言語モデルの生得的な限界

 (arxiv.org)
5 ポイント 投稿者 GN⁺ 2024-02-26 | 1件のコメント | WhatsAppで共有

大規模言語モデルの本質的限界: 幻覚は不可避

  • 大規模言語モデル（LLMs）における幻覚現象は、広く知られた重大な欠点である。
  • 多くの研究が幻覚の程度を減らそうと試みてきたが、その大半は経験的な方法にとどまり、幻覚を完全になくせるのかという根本的な問いには答えられていない。
  • 本論文では問題を形式化し、LLMsにおいて幻覚を除去することは不可能であることを示す。

形式的世界における幻覚の定義

  • 幻覚を、計算可能なLLMと計算可能な基準真理関数との不一致として定義する形式的世界を定義する。
  • 学習理論で得られた結果を活用し、LLMsはすべての計算可能関数を学習できず、したがって常に幻覚を経験することを示す。

現実世界における幻覚の不可避性

  • 形式的世界は、はるかに複雑な現実世界の一部にすぎないため、現実世界のLLMsでも幻覚は不可避である。
  • 証明可能な時間計算量によって制約される現実世界のLLMsについて、幻覚が発生しやすいタスクを記述し、これを経験的に検証する。

幻覚緩和メカニズムと実用的含意

  • 形式的世界のフレームワークを用いて、既存の幻覚緩和メカニズムの可能性と効果を論じる。
  • LLMsの安全な展開に関する実用的含意を論じる。

GN⁺の見解

  • この研究は、大規模言語モデルの中核的問題である「幻覚」現象に対する根本的な理解を提供する。
  • 幻覚現象が不可避であるという理論的証明は、LLMsの設計と改善において新たな方向性を示しうる。
  • 安全で信頼できるAIシステムを構築するための議論に重要な貢献をもたらし、これは技術発展における重要なマイルストーンとなりうる。

関連記事

1件のコメント

 
GN⁺ 2024-02-26
Hacker Newsの意見

  • 1つ目のコメントの要約:

    • この論文の核心的な主張は、P ≠ NPであるため、LLM（大規模言語モデル）はNP完全問題に対して架空の回答を作り出すことになる、というもの。
    • これは数学、計算機科学、言語に関する興味深い哲学的問いではあるが、一般的な「LLMのハルシネーション」という概念とは異なる形式的な概念を用いている。
    • 形式的な世界が自然言語の世界の部分集合であるという主張も興味深い。人間はNP完全問題を解けないが、自然言語では高い熟達度を示す。

  • 2つ目のコメントの要約:

    • 要旨しか読んでいないが、この形式的アプローチが、LLMが「分からない」と答える頻度を高めるという実用上の問題に役立つのかについては懐疑的。
    • これは不完全性定理に似ており、LLMがすべてを知る必要はないが、「分からない」と答える問題は重要だ。

  • 3つ目のコメントの要約:

    • LLMに作り話をさせないためには、質問を非常に慎重にしなければならない。
    • この種のAIは「イエスマン」のようなもので、真実かどうかに関係なく、あなたを喜ばせようとする。
    • このような人たちと働くのは非常に難しい。約束したプロジェクトを本当に遂行できるのか、そもそも可能なのかを常に確認しなければならない。

  • 4つ目のコメントの要約:

    • 小説や物語を書くことは、ハルシネーションの一形態だ。
    • AIは論理的機械とハルシネーションを生み出す機械という両極端を達成している。
    • 目標は、2つの機能を同時に実行し、それらを区別できる機械を作ることだ。
    • ハルシネーションは重要だが、コンピュータが自分がハルシネーション中であると自覚することが鍵だ。

  • 5つ目のコメントの要約:

    • 創造性が良ければ「創造性」と呼び、悪ければ「ハルシネーション」と呼ぶ。
    • これはバグや限界ではなく、機能だ。

  • 6つ目のコメントの要約:

    • 「ハルシネーション」という用語は、現実には存在しないものを知覚することを意味するため、現実とうまく対応しない文句を生成する現象を説明するには不適切な用語だ。

  • 7つ目のコメントの要約:

    • AIに対する過大評価が、いまや「現実的な段階」へと移行しつつある。
    • 最近はアラインメント問題について熱狂的に語るポストを見かけなくなった。

  • 8つ目のコメントの要約:

    • LLMを文字列の確率モデルとして定義しており、これは人間の知能を含められるほど広い定義だ。
    • したがって、彼らの発見は人間にも同様に適用されうる。

  • 9つ目のコメントの要約:

    • ハルシネーションを、計算可能なLLMと計算可能な基準真理関数の不一致として定義している。
    • これは単に不正確さ、あるいは捏造だ。
    • ハルシネーションという用語は、これらのプログラムが知的であるという考えに迎合している。

  • 10つ目のコメントの要約:

    • ハルシネーションを、計算可能なLLMと計算可能な基準真理関数の不一致として定義している。
    • この定義を使えば、「ハルシネーションは不可避である」という表題の文は簡単に反証できる。
    • 入力コンテキスト長を1バイトに固定し、LLMがAに対してのみ「はい」と答えるよう訓練する。
    • 基準真理関数を、A入力に対する正しい出力が「はい」であり、他のすべての入力に対する正しい出力が「いいえ」であると定義する。
    • このLLMは、すべての可能な入力に対して出力が基準真理関数と一致することを完全に検証済みなので、決してハルシネーションを起こさない。
    • 入力コンテキストのサイズと基準真理テーブルの項目数を増やすことは可能であり、どの段階でもハルシネーションが「不可避」になることはない。