『バトルシップ』ゲームを活用してAIエージェントにより良い質問の仕方を教える

• 古典的な推理ゲーム バトルシップ を自然言語の質問・応答形式に再構成し、不確実な環境でAIエージェントが 良い質問 を投げかける能力を測定するテストベッドを構築
• 1人が隠された艦船の位置を尋ねる キャプテン(captain)、チームメイトがリアルタイムで答える スポッター(spotter) という構成で進行し、40人以上がプレイしたデータから BattleshipQA データセットを作成
• 事前学習なしでもGPT-5のような大規模モデルは人間より少ないターンで勝利したが、小型モデルは有用な質問を作るのが未熟だったため Monte Carlo推論戦略 を適用
• Llama 4 Scoutは改善前の対人勝率8%から 82% に上昇し、GPT-5を上回りながらコストは約 1%水準
• 小型モデルが大型モデルをコスト効率よく上回れることを実証し、needle-in-a-haystack のような希少解探索が必要な科学的発見分野での可能性を示唆

---

研究背景: AIエージェントの情報探索の限界

• 2026年、AIエージェントへの期待はかつてなく高まっており、顧客サービスやソフトウェア開発のようなよく定義された作業を 言語モデル(LM) ベースで実行している
• 医療診断や科学的発見のように、不確実な環境で広範な解を探索しなければならない分野では、LMは困難を抱えている
• MIT CSAILとHarvard SEASの研究チームは、高リスク状況におけるLMの中核的な問題を分析するため、認知科学で 人間の情報探索 の研究に使われてきた バトルシップ をテストとして採用した

Collaborative BattleshipゲームとBattleshipQAデータセット

• ゲームを自然言語の質問・応答中心に再構成し、1人の参加者は隠された艦船の位置を尋ねる キャプテン、チームメイトはリアルタイムで答える スポッター の役割を担う
• 40人以上が協力してプレイし、質問とYes/Noの回答を収集して BattleshipQA データセットを構築
• このデータは、GPT-5のような最新LMやLlama 4 Scoutのような小型モデルをテストする際の比較基準として活用された
• 事前学習なしでも最上位のLMは人間より少ないターンでゲームを終えて「勝つ」ことができたが、小型システムははるかに非合理的だった

より良い質問をする — Monte Carlo推論戦略

• 多くのモデルにとって、有用な質問 を生み出せないことが中核的な問題だった
• 各モデルに対し、応答のたびに各選択肢の正答可能性を測定する Monte Carlo推論戦略 を与えたところ、規模に関係なく一般プレイヤーに勝てる結果を導いた
• LMは可能な推測を個別の 粒子(particle) として扱い、スポッターの回答があるたびに、より妥当だと見える推測に重みを高く与える適応的な方式を取る
  • 毎ターン膨らんだり縮んだりするゲームボールのように機能し、キャプテンがスポッターからはるかに多くの情報を引き出せるようにする
• Llama 4 Scoutは小型モデルとして対人勝率がわずか8%だったが、推論戦略の改善後は 82% を達成し、GPT-5を上回りながらコストは約1%水準だった

より正確に答える — Pythonコード変換

• GPT-5は信頼できるスポッターだった一方で、小型システムには艦船位置を誤って答える傾向があった
• キャプテンの質問を自動的に エンコードされた命令 に変換し、スポッターLMが回答を検証するよう促したことで、平均精度が 15% 向上
  • 例: 「1列目に2行にまたがる艦船はあるか?」 → 該当領域を探索し、ゲーム駒の幅を評価する命令へ変換
• モデルが特によく理解する Python 言語で明確な指示を与えると、正答率が大きく向上
  • 軽量モデルのGPT-4o-miniは約 30% の性能向上、大規模モデルのClaude 4 Opusも約8ポイント上昇
• LMがコードを生成して解を検証する auto-formalization 戦略の成功を踏まえ、探索・情報収集能力を改善することで、より良い解を生成できる可能性を示した

別のゲームへの拡張 — Guess Who?

• 100個の選択肢を絞り込み、隠されたキャラクターを当てる Guess Who? に同じ手法を適用
• Llama 4 Scoutは30%から 72%以上 に、GPT-4oは62%から 90% に上昇し、各ゲームでGPT-5がスポッター役を担当
• モデルは依然として、人間より 複雑な質問 に答えるのが苦手だった
  • GPT-5は平均的なバトルシッププレイヤーには勝ち、この手法を適用するとわずかに改善するものの、チェスとは異なり、熟練プレイヤーに対してはどのモデルも勝つのが難しい

残された課題と今後の方向性

• AIエージェントは、膨大な選択肢の中から希少な解を見つける needle-in-a-haystack 探索において潜在力を持つ
  • 化合物の分子構造を特定するような科学的課題で、優れた研究支援役として活用できる可能性がある
• Collaborative Battleshipは比較的単純なテストベッドであり、より多くの選択肢を考慮しなければならない 複雑な環境 での追加検証が必要
• 人間とAIの協調効果の研究、ゲームシミュレーションベースの 微調整、より多くの計算資源を通じた高度な推論能力の確保を計画している
• エージェントの自律性が高まるほど、共通基盤の追跡・誤解の解消・パートナーへの適応といった 社会的問題 が最も難しくなり、最適な質問を計算することだけでなく、回答を最大限活用する 実用的推論 こそが真のボトルネックだと評価されている