Meta、Llama 4の開発にすでに着手 必要な計算能力はLlama 3の10倍

• 2024年Q2決算説明会でマーク・ザッカーバーグが言及
• Llama 3はすでに最先端モデルと競争しており、すでにLlama 4の開発を開始している
  • 来年には業界最高水準になることが目標
• 今後数年間に必要となるコンピューティングクラスタとデータに関する計画を立てている
  • Llama 4の学習に必要な計算能力はLlama 3よりほぼ10倍多くなると予想されており、将来のモデルではさらに増え続ける見込み
  • この傾向が今後どう続くかを予測するのは難しいが、現時点では新たなインフラプロジェクトの稼働にかかる長いリードタイムを考えると、遅すぎるよりは必要になる前に容量を構築しておくほうがよいと考えている
  • こうした投資を拡大しながら、会社全体の運営効率を維持していく方針

[brainer]

DLではもともとcomputing resourceは平均して2年ごとに10倍ずつ増えてきたので、それほど驚くようなことではないと思います。