Llamaを考える――クローズドソースAIモデルは不幸な結末を迎えるのか？

[jaehong747]

Unix vs. Linux
Oracle vs. MySQL
オープンソースは協業を通じてイノベーションを実現してきました。オープンソースの力は透明性と協業にあります。Linux、MySQL などの成功したオープンソースはその結果です。

GPT-n vs. Llama ?

Llama にはオープンなイノベーションの限界があります。
Llama モデルを革新するには事前学習が可能でなければなりませんが、現状では事後学習しかできません。その理由は、Llama の学習データが公開されていないからです。AI、ディープラーニングにおけるソースコードは訓練データセットです。しかし、Llama はモデルウェイトだけを公開しており、訓練データ、モデルトレーニングコード、ハイパーパラメータなどは公開していません。現在の Llama ウェイトでは、ファインチューニング、軽量化などのチューニング的な革新は可能ですが、事前学習によってのみ可能なモデルウェイトの革新は不可能です。なぜなら、AI、ディープラーニングでは訓練データセットを開発することがコーディングでありデバッグだからです。Llama の学習データは非公開なので、大衆が協業して改善する方法がありません。この点で、Llama をオープンソースと見るのは難しいです。

また、コミュニティの GPU リソース不足もあります。
Llama の訓練には H100*16k GPU が使われたとされています。GPU だけで 6,000 億ウォンを超えます。これを動かすインフラや電気代などの追加コストまで考慮すれば、1 兆ウォンは軽く超えるでしょう。誰でも試せることではありません。オープンソースコミュニティでイノベーションが可能になるには、公共の GPU クラスターが必要でしょう。

要約すると
AI、ディープラーニング分野でオープンイノベーションを可能にするには、少なくとも次の 2 つが必要です。

1. 訓練データの公開
2. 大規模な公共 GPU クラスターの提供

しかし、1 は著作権問題のため可能性が低いです。そして 2 には 1 兆ウォンが必要です。

結論として、現在の状況では AI、ディープラーニング分野のオープンイノベーションの可能性はきわめて低いということです。ただし、GPU やニューロモルフィックチップなどのハードウェア革新が起きれば、話は変わるでしょう.