Anthropic CEO ダリオ・アモデイ: DeepSeekモデルはそれほど驚くべきものではない
(darioamodei.com)ダリオ・アモデイは、DeepSeekのV3とR1モデルに対する評価は誇張されていると主張
AI発展の3つの原動力 (Three Dynamics of AI Development)
-
Scaling laws: 他の要素が同じであれば、AIシステムの性能はスケールが大きくなるほど向上する。たとえば100万ドルのモデルはコーディングタスクの20%を、1000万ドルのモデルは40%を、1億ドルのモデルは60%を正答する
-
Shifting the curve: モデルアーキテクチャや計算効率の向上によって、コスト性能曲線が移動する。コスト効率の小さな革新では1.2倍程度、中規模の革新では2倍、大きな革新では10倍程度向上する。しかしコスト効率が向上しても、企業は学習コストを減らさず、より高性能なモデルを作るために再投資する。こうした革新が積み重なり、年間でおよそ4倍ずつ向上している。
-
Shifting the paradigm: 2023年までは、膨大なインターネット資料で学習させたpretrained modelがスケーリングの主な対象だった。しかし2024年から、o1を皮切りに強化学習が使われ始めた。この方法は、一般的なpretrained modelから始めて、その後に強化学習段階を追加する方式である。2024年からは強化学習段階のスケーリングが始まっているが、まだ初期段階のため、わずかな投資でも大きな性能向上をもたらしうる。
DeepSeekモデル
DeepSeekは1か月前にpretrained modelであるDeepSeek-V3を公開し、先週には強化学習段階を追加したR1を公開した。DeepSeek-V3はSOTA性能に近づいており、モデル効率を大きく改善した。
- しかし、DeepSeekが600万ドルで米国企業の数十億ドル規模モデルと同等の性能を示したという噂は誇張されている。Claude Sonnet 3.5の学習には数千万ドルが費やされており、しかも1年前に学習されたものだ。
- 学習効率が年間およそ4倍向上していることと、V3の性能がSOTAに達していない点（曲線上でコスト2倍程度の差）を考えると、V3モデルが約8分の1のコストで学習されたことは、現在の進歩トレンドから外れたものではない。米国企業もまもなくそれぞれの方法で同程度の効率を達成するだろう。
- 問題は、このトレンドに沿うモデルが中国で登場したことだ。
- DeepSeekは50,000個のHopper世代チップを保有している。これは米国企業の1/2〜1/3水準であり、これを踏まえると米国企業とのコスト差はそれほど大きくない。
- エンジニアリングの観点では、R1はV3よりも興味深さに欠ける。現在は強化学習曲線の初期段階にあるため、R1は低コストでo1級の性能を示すことができた。強化学習のスケーリングが進めば、このような事例は減っていくだろう。
輸出規制
- 米国と中国の研究所は、強力なAI開発のために莫大な資金を投じており、これはほぼすべての分野でほぼすべての人間を上回るAIモデルが作られるまで続く。時期は2026〜2027年ごろと見られる。
- その時点では、輸出規制によって世界は完全に異なる形に分かれる可能性がある。
- 中国が数百万個のチップを確保できれば、米国と中国がそれぞれ強力なAIモデルを持ち、技術革新を進める二極世界になる。
- 中国が数百万個のチップを確保できなければ、米国と同盟国だけが強力なモデルを持つ一極世界になる。AIはAIの発展も加速させるため、この傾向はしばらく続くだろう。
- DeepSeekの成果は、輸出規制の失敗を意味するものではない。彼らはすでに輸出規制以前に十分な数のチップを確保していた。
さらにアモデイは、3.5 Sonnetが非公開の上位モデル（3.5 Opusなど）の蒸留版だという噂も否定した。
3件のコメント
モデルが中国で登場したことが問題？
オープンモデルだということが問題なんだろう…
AGI が登場する日が楽しみな一方で、怖くもありますね。
そんなことをAnthropicが言うのは……うーん。
ここ数か月モデルの新しい話がなくて、Anthropicは何をしているんだという声がじわじわ出てきているようですが。