なぜ言語モデルはハルシネーションを起こすのか？ by OpenAI

AIシステムの信頼性の問題

1. AIシステムの有用性と信頼性を高める取り組み

   • OpenAIは、AIシステムをより有用で信頼できるものにするために取り組んでいる。
   • こうした取り組みにもかかわらず、言語モデルがより高性能に進化しても解決が難しい問題の1つがハルシネーション(hallucinations) である。

2. ハルシネーションの定義と問題点

   • ハルシネーションとは、モデルが自信を持って生成した回答が事実ではない場合を意味する。
   • この現象は、AIシステムの信頼性を低下させうる重要な問題である。

3. 研究結果とハルシネーションの原因

   • 新しい研究論文では、言語モデルがハルシネーションを起こす理由は、標準的な学習および評価手順が不確実性を認めるよりも推測に報酬を与えるためだと主張している。
   • これはAIモデルが誤情報を生成する可能性を高める。

4. ChatGPTとGPT-5のハルシネーション現象

   • ChatGPTもまたハルシネーションを起こす。
   • GPT-5は特に推論を行う際のハルシネーションが大幅に減少したが、それでもなお発生する可能性がある。
   • これは、AIシステムの信頼性を高めるために継続的な研究と改善が必要であることを示唆している。

ハルシネーションの定義

• ハルシネーションとは、言語モデルによって生成されたもっともらしいが誤った記述である。
• このようなハルシネーションは予期しない形で現れることがあり、単純な質問に対してさえ発生しうる。

ハルシネーションの例

• たとえば、広く使われているチャットボットにAdam Tauman Kalaiの博士論文のタイトルを尋ねたところ、チャットボットは3つの異なる回答を自信満々に提示した。
• しかし、提示された回答はすべて誤りだった。

評価方法の問題点

• 現在の評価方法は、誤ったインセンティブを設定している。
• 評価そのものがハルシネーションを直接引き起こすわけではないが、ほとんどの評価はモデル性能を測る方法として推測を促し、不確実性に対する正直さを損なっている。
• たとえば、多肢選択式試験を考えると、正解がわからない場合でも、やみくもに推測すれば運が良ければ当たることがある。
• このような方式は、正確な評価よりもランダムな推測によって成果を上げられる環境を生み出す。

モデルの性能評価の方法

1. モデル性能評価の概念
   モデルの性能評価は、与えられた質問に対する応答の正確性を基準として行われる。

2. 不確実性の扱い
   モデルが特定の質問に対する答えを知らない場合、「わからない」と答えても正確な点数が保証されるわけではない。

3. 推測の可能性
   たとえば、誰かの誕生日を尋ねる質問に対してモデルが「9月10日」と推測した場合、1/365の確率で当たる可能性がある。

4. 性能スコアの差
   何千ものテスト質問に対しては、推測するモデルのほうが、不確実性を認める慎重なモデルよりもスコアボード上で良い成績を示すことがある。

結論と示唆

• モデル性能評価における限界
  推測するモデルのほうが高いスコアを記録することはありうるが、それが実際に正確な情報を提供していることを意味しない点に注意する必要がある。

• 信頼性の重要性
  したがって、モデルの信頼性と正確性を評価する際には、単純なスコアだけでなく、正確な情報提供の重要性も考慮すべきである。

モデルの正確性とエラー率の比較

• 正確性: 旧型のOpenAI o4-miniモデルは、わずかに優れた性能を示す。
• エラー率: しかし、このモデルのエラー率（つまり、ハルシネーション発生率）はかなり高い。
• 戦略的推測: 不確実なときに戦略的に推測することは正確性を高めるが、エラーとハルシネーションを増加させる。
• 評価基準: 何十もの評価結果を平均すると、ほとんどのベンチマークは正確性指標を強調する。これは正しい/誤りの誤った二分法を招く。

評価への新しいアプローチ

1. 問題提起
   既存の評価方法は正確性だけに焦点を当てている。これは評価の信頼性を低下させる要因となりうる。

2. 解決策の提案
   評価において、確信を持った誤りにはより大きなペナルティを与え、不確実性にはより小さなペナルティを与えるというアプローチが可能である。これは評価の公平性を高める方法となりうる。

3. 部分点の付与
   適切な不確実性の表現に対して部分点を与えることが重要である。これは学生が自分の考えを表現する機会を提供する。

4. 研究動向
   複数の研究グループが、不確実性とキャリブレーションを考慮した評価方法を探究している。こうしたアプローチは、評価の正確性を超える新たな基準を提示しうる。

ハルシネーションの原因を理解する

• ハルシネーションは、特定の事実的不正確さが生じる現象である。
• こうした不正確さの源は、言語モデルの学習過程にある。
• 言語モデルは、事前学習(pretraining) を通じて大量のテキストから次の単語を予測する形で学習する。
• 従来の機械学習の問題とは異なり、各記述に**「真/偽」ラベル**が付与されているわけではない。

ハルシネーションが続く問題

• ハルシネーションを取り除くのが難しい理由はいくつもある。
• ハルシネーションの原因として、言語モデルの学習方式が重要な役割を果たしている。
• このような学習方式は正確な情報を与えるものではないため、ハルシネーションが発生しうる。
• ハルシネーションの特殊性と複雑性は、言語モデルの訓練データと深く関係している。

統計的観点の重要性

• 本論文は、ハルシネーションの本質を明確にし、一般的な誤解に反論することを目的としている。
• 統計的アプローチを通じて、ハルシネーション現象の分析と理解に貢献することを目指している。
• ハルシネーションは人工知能モデルの正確性と密接に関連している。

ハルシネーションと正確性の関係

• 主張: 正確性を改善すればハルシネーションは取り除ける、という考えがある。
• 100%正確なモデルは決してハルシネーションを起こさないと主張される。
• しかし、これはハルシネーションの本質を見落としている。

正確性の限界

• 発見: 正確性は決して100%には到達しない。
• 理由:
  1. モデルのサイズにかかわらず
  2. 検索および推論能力にかかわらず
  3. 現実世界の一部の質問は本質的に答えられない問いである。
• こうした限界は、ハルシネーション現象を完全に除去することができないことを示唆している。

今後の研究の方向性

• 今後の研究では、ハルシネーションを減らすための代替的アプローチを模索する必要がある。
• モデルの正確性を高めることに加えて、ハルシネーションの原因を理解し、それに対処するためのさまざまな方法論が必要である。
• ハルシネーション現象に対するより深い理解は、人工知能の信頼性向上に寄与するだろう。