AI検索：より苦い教訓

Leela Chess Zeroの限界

• Leela Chess Zeroは自己対局を通じて数十億回の学習を重ね、世界チャンピオンになった
• しかしStockfishには完敗した
• より大きなネットワークを学習させてもStockfishには勝てなかった
• StockfishはLeelaよりはるかに小さいモデルを使っていたが、より優れた探索能力で勝利した

Stockfishの勝利についてのさらなる考察

• Leelaは探索が得意ではなく、世界チャンピオンの座を明け渡した
• LLMに探索能力を追加することは目前に迫っているが、あまり注目されていない
• GPT-4のようなFoundationモデルには探索能力がない
• 探索を可能にするにはより大きなモデルが必要だという前提が支配的だが、反例が存在する
• DeepMindの研究によれば、チェスアルゴリズムでは探索行動が自然に出現する
• 効率的な探索アルゴリズムがあるのに、非効率な先行探索が大規模モデルの中で偶然出現するのを待つ必要はない
• 今日のモデルは探索を可能にするのに十分大きく、むしろ不必要なほど大きい可能性すらある

探索は対象領域への計算資源の割り当てを可能にする

• 製薬会社がAIを使って新薬を研究しようとしていると仮定する
• AI探索が可能な世界では、次の2つの選択肢がある
  1. 2030年まで待ち、OpenAIが4桁大きいモデルをリリースするのを待つ
  2. 今日すぐに4桁多い推論計算資源を使う
• 製薬会社は2番目の選択肢を好むだろう
• 探索によって、2030年のASIレベルの能力を今すぐ活用できる

探索ベースのAI発展シナリオ

• 既存モデルで探索が機能することが発見される
• 政府や大規模研究所が、AI研究や海外情報収集に探索を直ちに適用できると認識する
• 推論計算資源が限られているため、政府や大規模研究所での利用は安全保障やAI研究に限定される
• 探索主導のAI発展によって、より効率的な探索アルゴリズムとモデルアーキテクチャが発見される
• 探索はより多くの学習データを必要としないため、「データの壁」の問題を解消する
• 知能爆発は2030年ではなく、来年から始まる

AI自身の研究への探索適用可能性

• AIが自分自身を研究できるほど十分に発展すれば、急激な発展ダイナミクスが予想される
• 製薬会社がGPT-8を待たずに新薬を研究できるように、AI研究所もより大きなモデルを待たずにAIを研究できるようになる
• 人間のAI研究者を置き換えるには、さらに多くの制約解除が必要かもしれない
• しかし、GPT-8レベルの知能を持つ単純なチャットボットでも、AI発展の加速には十分だと予想される

[GN⁺]

Hacker Newsの意見

Hacker Newsコメント要約

• 検索の有効性は価値関数の品質と密接に関係している: 現在の価値関数は特定のドメインに非常に特化しており、新しいドメインに一般化できる価値関数を作れるという証拠は乏しい。
• Yann LeCunの研究: Yann LeCunはAGIを作るために検索の役割を研究しており、JEPAを通じて堅牢な世界モデルを構築しようとしている。
• 言語モデルの限界: 現在のLLMが十分に豊かな世界モデルをシミュレートできるのか疑問があり、動画が重要なのは、人間が画像シーケンスから有用な世界モデルを抽出できるためである。
• 記事の曖昧さ: 投稿は興味深い前提で始まるが、LLMの文脈で検索を定義しておらず、「Pfizerが今日GPT-8の機能を使える」という主張も説明していない。
• チェスエンジンの検索: チェスエンジンの検索は客観的な関数があるから可能だが、LLMにそのようなメトリクスがあるのかは疑問である。
• 検索の必要性: 検索はほぼ確実に必要であり、低コストのクラスターが高コストのクラスターに勝てる方法を見つけることが重要である。
• チェスと他のゲームの違い: チェスは枝刈り要素が少ないため広範なアプローチが可能だが、現実世界の状況は枝刈り要素がはるかに多い。
• 検索の一般化: 検索は「生成してテストすること」とリジェクションサンプリングを一般化したものであり、速度は候補生成とテスト時間に左右される。
• ウェブサイトの問題: 特定のウェブサイトがブラウザの基本機能を妨げ、不便を引き起こしている。
• Leela Chess Zeroのゲーム木: Leelaはチェス対局をゲーム木としてモデル化し、検索アルゴリズムを使っている。
• LLMの検索可能性: LLMが検索できる可能性空間が明確ではない。
• LLMの限界: LLMはチーズケーキを作ったり評価したりできないため、AGIへの期待を下げる必要がある。
• 情報理論的な問題: LLMの学習にはあまりに多くのデータが必要である点から、一般化と内部世界モデリングの不足が問題となっている。