Andrej Karpathy、LLMには「システムプロンプト学習」が必要

• LLMには、従来の事前学習(pretraining) と ファインチューニング(fine-tuning) を超える第3の学習パラダイム、すなわち 「システムプロンプト学習(System Prompt Learning)」 が必要だと主張
• 事前学習は知識を学習し、ファインチューニングは習慣的な行動を学習する方式であり、どちらもモデルパラメータの変更を伴う
• 一方で、人間の学習はシステムプロンプトの変化により近く、**「問題状況に直面 → 把握後に戦略を導出 → 次のために明示的に記憶」**する形で行われる
  • 例: 「この種の問題に直面したら、このアプローチ/解決策を試してみよう」という自己メモに似ている
• これは一般的なユーザー文脈の記憶(memory) とは異なり、全般的な問題解決戦略と推論手順を明示的に保存することに近い
• 人間はこうした戦略を意識的に記憶したり記録しておけるが、LLMはまだそのようなスクラッチパッドを持たない『Memento』の主人公のようなもの
• このような戦略ベースの学習は、報酬信号ベースの強化学習(RL) よりもはるかに高次元でデータ効率の高いフィードバック経路になり得る
• 最近流出したClaudeのシステムプロンプトは約17,000語で、単なる行動の選好だけでなく、一般的な問題解決戦略も詳細に明記されている

  例: 単語数を数えるよう求められた場合、Claudeはすぐに答えず段階的に考え、
  各単語/文字/記号に番号を振ったうえで、明示的なカウント手順を経てから応答する

• このような知識は、即時に、あるいは排他的に重みに内在化されるべき種類のものではなく、人間がシステムプロンプトを手書きして一つひとつ与えるべきものでもない
• むしろこの方式は、新たな学習形態であるシステムプロンプト学習によって実現可能であり、設定だけ見ればRLに似ているが、
  学習方式は勾配降下法ではなくテキストベースの編集(edit) に近い
• LLMのシステムプロンプトのかなりの部分は、システムプロンプト学習によって書かれる可能性があり、これはLLMが問題解決方法に関する本を自ら執筆することに近い
• このようにプロンプトをLLM自身が編集/更新する方式は、強力な新しい学習パラダイムになる可能性がある
  • ただし、解決すべき課題も存在する:
    • テキスト編集はどのように機能するのか?
    • この編集システム自体をモデルが学習できるのか、あるいは学習すべきなのか?
    • 人間のように、明示的な戦略知識を徐々に内在化された習慣/重みへ移行するには、どのようなメカニズムが必要なのか?

[parkindani]

システムプロンプトをLLM自身が変更できるなら、そのポリシーに対するルールも人間が決めてあげる必要があるでしょうし、結局はロボット三原則のようなものだけが残るのかもしれません。