Meta、来週Llama 3の小型版をリリース予定

• Llama 3の最大バージョンは今夏にリリース予定であり、小型の2モデルは来週リリースされる予定
• 小型モデルのリリースは、Llama 3への期待感を高めることになる
• Llama 3は、OpenAIのGPT-4のように画像ベースの質問応答機能を備えると期待されている
• 最大バージョンは、テキストと画像の両方を理解し生成できるマルチモーダルモデルになる見込み
• 一方、来週リリースされる2つの小型モデルはマルチモーダルではない

モデルサイズによる長所と短所

• 小型モデルは一般に、大型モデルより実行コストが低く、動作も高速
• これは大型モデルの実行コストを考えると、ますます価値が高いと見なされている
• 小型モデルは、モバイル機器向けにAIソフトウェアを開発しようとする開発者にとっても有用

MetaのLlamaモデル開発状況

• Metaは以前、Llama 2の3つのモデルを公開している
  • 最大モデルは700億個のパラメータを持つ
  • 残りの2モデルはそれぞれ130億個と70億個のパラメータを持つ
• Llama 3の最大バージョンは、1,400億個以上のパラメータを持つと予想されている
• MetaはLlama 2を使って、自社アプリのAIアシスタント機能を提供している
• ここ数カ月、Metaの生成AI部門の従業員は、Llama 2が論争のある質問に対してあまりに保守的に応答すると判断し、Llama 3をよりオープンにするため取り組んできた

GN⁺の意見

• Meta PlatformsによるLlama 3小型版のリリースは、人工知能言語モデル分野での競争が激化していることを示している。すでにGoogleやイーロン・マスクのxAIのような大手プレイヤーがオープンソースモデルを公開している状況で、Metaの今回の動きは市場シェアを確保し、技術的リーダーシップを維持するための戦略と解釈できる。
• 小型版モデルのリリースは、開発者や研究者に新たなツールを提供し、それを通じてより大きなバージョンのモデルへの関心と期待を高めるマーケティング戦略である可能性がある。これは、ユーザーが実際に大規模モデルを使う前に、小型モデルで試し、慣れる機会を提供する。
• 大規模言語モデルの公開は技術的に非常に複雑であり、こうしたモデルを効果的に学習させ維持するには、相当な計算資源と専門知識が必要となる。Metaはそのような資源を持っているが、モデルの倫理的な利用やバイアスの問題は依然として重要な検討事項である。
• MetaのLlama 3モデルが他のオープンソースモデルとどのように差別化されるのか、そしてこのモデルがどのような新機能やイノベーションを提供するのかは、まだ不明である。これは技術コミュニティ内で興味深い議論のテーマになり得る。
• オープンソースモデルの公開は技術の民主化を促進し、さらなるイノベーションを可能にする。しかし、こうしたモデルの影響力が高まるにつれ、誤情報の拡散、著作権侵害、プライバシー保護の問題などへの懸念も同時に高まっている。