AGIはまだ10年先：Andrej Karpathyが語るAIエージェントの本当の現実
(aisparkup.com)元OpenAI・Tesla AIディレクターのAndrej Karpathyは、最近Dwarkesh Patelのポッドキャストで、AIエージェントの将来とAGIのタイムラインについて、業界が「エージェント元年」を騒ぐ中で、なぜそれが「エージェントの10年」なのか、そして現在の強化学習の根本的な問題は何かを率直に明かしました。
主要ポイント:
- 「監督信号をストローで吸い込む」—強化学習の致命的弱点 – 何百回もの試行の後、たった1つの正解信号で全過程を評価する現在のRL手法は、本質的に非効率でノイズが大きい
- コーディングAIの実力：nanochatプロジェクトが示したこと – 8,000行のChatGPTクローン構築の過程で、AIエージェントは独創的なコード作成に致命的に弱く、せいぜい自動補完レベルにとどまった
- モデル崩壊のジレンマ：合成データの隠れた罠 – LLMが生成するすべてのサンプルは「静かに崩壊した」分布を持っており、ChatGPTにジョークを依頼すると3種類程度しか繰り返さない理由がここにある
まだコメントはありません。