事前学習の手続き的知識が大規模言語モデルの推論を促進する役割

• 手続き的知識が大規模言語モデルの推論に与える影響

• 大規模言語モデル（LLM）の能力と限界は、ここ数年で詳細に研究されてきた。LLMは問題解決能力を示す一方で、人間と比べると推論には隔たりがあり、一般化戦略の頑健性に疑問が投げかけられている。

• LLMの設計に用いられたデータ量が膨大であるため、従来の一般化測定手法である訓練セットとテストセットの分離が難しい。これを克服するため、LLMが推論タスクを実行する際に用いる一般化戦略を事前学習データから調査した。

• 2つのサイズのモデル（7Bと35B）と2.5Bの事前学習トークンを用いて、3つの単純な数学的推論タスクについてモデル出力に影響を与える文書を特定し、事実に関する質問への回答に影響するデータと比較した。

• モデルは各事実質問に対して主に別個のデータセットを用いる一方、同じタスク内の別の推論質問でも文書が似た影響を与えることが多く、手続き的知識の存在を示している。

• 事実質問への回答は最も影響力のあるデータにしばしば現れるが、推論質問では回答そのものや中間推論ステップの答えが高い影響力を示さない。

• 推論質問に対する上位文書を質的に分析した結果、影響力のある文書にはしばしば、数式やコードによって解法を示す手続き的知識が含まれていることが確認された。

• これらの発見は、モデルが用いる推論アプローチが単純な検索ではなく、類似した形式の推論を行う文書から手続き的知識を統合する、一般化可能な戦略であることを示唆している。

[GN⁺]

Hacker Newsの意見

• LLMはあらゆる問題の例を訓練データ内で見つけられるわけではなく、情報検索スタイルの探索に必要な事実ベースの参照例が十分ではないと指摘している

  • AppleのLLM論文と矛盾しておらず、LLMは既存の例からわずかな変形しかできないと考えている
  • 「推論」という用語の使用に不満を示し、これはLLM企業が技術を感情的に表現するために作った言葉だと主張している
  • 自然言語で機械に指示できる能力は大きな進歩だと強調している

• 人間が問題を段階的に解かなければ、ニューラルネットワークはそれを模倣できない点を指摘している

  • コード訓練の予想外の利点を説明している

• LLMは問題解決能力を示すものの、人間と比べると推論には隔たりがあると述べている

  • LLMを単なる次トークン予測器と見るユーザーが多いことを指摘している

• 言語モデルが推論の質問に答えるとき、限られた文書集合から情報を検索している場合が多いと説明している

  • 逆に、質問と抽象的に関連するさまざまな文書から情報を引き出すことこそ、より一般化された推論戦略であるべきだと提案している

• Googleの事前学習がチップ設計で重要な役割を果たしていると主張している

  • 事前学習なしで試した結果が現在の技術水準に及ばないのは当然だと説明している

• 生成画像が悪夢のようになる理由を問い、より多くの推論訓練データが必要だと主張している

  • 数学的証明は非合成データにおける最も手が届きやすい果実かもしれないと言及している

• AlphaGoとAlphaZeroの比較を通じて、人間の手続き的知識がMLの訓練に役立つ一方で、限界がある可能性も説明している

• 学生ノート、試験、書評などで訓練すればLLMはさらに良くなる可能性があり、それは非常に興味深いだろうと提案している