LADDER: 再帰的な問題分解で自己改善するLLM

• LADDERは、難しい問題をより簡単な変形へと下り、再び上っていくことで、人間のフィードバックやキュレーションされたデータなしにLLMの問題解決能力を高めるフレームワーク
• 中核は、モデルが解けるレベルまで難易度の勾配を作り、検証可能な下位問題の解答を、より難しい問題を解くための足がかりとして使う構造
• 数学の積分課題では、Llama 3.2 3Bの学部レベル問題の正答率が**1%から82%**に向上し、貢献項目では初期値が2%とも記載されている
• Qwen2.5 7B Deepseek-R1 Distilledは、MIT Integration Bee予選でLADDERのみで73%を記録し、GPT-4oの42%と一般的な人間の成績15〜30%を上回った
• TTRLは、テスト時点でも問題変形と強化学習を適用して同試験の正答率を73%から90%に高め、OpenAI o1を上回る最新性能を達成した

---

LADDERが狙う学習のボトルネック

• 強化学習はLLMの学習に効果的だが、モデルの現在の能力に合っていて、結果を確認できる検証可能な課題が必要
• 問題がモデルの能力より難しすぎると、学習が止まったり性能が悪化したりする崩壊が発生しうる
• 複雑な推論領域では、簡単な課題と高度な課題のあいだの隔たりが大きく、段階的に学習できる難易度設計が重要
• LADDERは複雑な問題から出発し、モデルがより簡単な変形問題を複数作り、各変形がさらに下位の変形を作る再帰的な問題分解を使う
• モデルが安定して解ける問題まで下りると、その解答がより難しい変形を解くための足がかりとして活用される

自己主導学習と検証条件

• 人間が作成したデータセットやフィードバックの代わりに、モデルの既存能力によって自然な難易度の勾配を生成する
• 学習には検証可能な報酬が必要であり、この研究では解答確認に数値積分を用いる
• このフレームワークは、モデルが自ら進捗を評価し学習経路を調整できるようにし、人の介入なしで強化学習を適用可能にする
• 再帰的な問題分解と自己主導学習は、GRPOベースの強化学習と組み合わされる
• 問題変形の生成と検証は、信頼できる検証メカニズムがあるときに機能する構造

積分ベンチマークとTTRLの結果

• 数学の積分ベンチマークで、LADDERは標準的なpass@kサンプリングで可能な水準を超える性能向上を示した
• Llama 3.2 3Bは学部レベルの積分問題で正答率が82%まで上昇
  • 要旨では初期正答率が1%と記載されている
  • 貢献項目では初期正答率が2%と記載されている
• Qwen2.5 7B Deepseek-R1 Distilledは、2025年のMIT Integration Bee予選でLADDER適用後73%の正答率を達成
  • GPT-4oは42%
  • 一般的な人間の成績は15〜30%
• TTRL(Test-Time Reinforcement Learning)は、テスト時に問題変形を動的に作り、各テストインスタンスに強化学習を適用するマイクロ学習の過程
• TTRLは訓練時に使った検証メカニズムを推論時にも活用し、解答をさらに磨き上げる
• MIT Integration BeeでTTRLは、LADDERのみを使った73%を90%へ引き上げ、OpenAI o1を上回る最新性能を達成した
• この結果は、アーキテクチャの拡張や人間の監督がなくても、戦略的な問題分解と検証ベースの自己学習によって大幅な性能向上が可能であることを示している