- 高性能コンピューティングの初期には、主要なテクノロジー企業は独自にクローズドなUnixのバージョンを開発していた
- 時間が経つにつれてオープンソースのLinuxが人気を集め、現在ではクラウドコンピューティングおよびモバイルOSの標準になった
- AIも同様の形で発展すると予想される
- 現在は複数のテクノロジー企業がクローズドモデルを開発しているが、オープンソースが急速に追い上げている
- 昨年のLlama 2は前世代モデルと比べても後れを取っていたが、今年のLlama 3は最先端のモデル群と競争できる水準に到達した
- 来年からはLlamaモデルが業界で最先端のモデルになると期待されている
- Llamaは開放性、改変可能性、コスト効率ですでに先頭を走っている
- 私たちは今、オープンソースAIを業界標準にするための次の段階に進んでいる
- Metaは本日、Llama 3.1 405B、初の最先端オープンソースAIモデルと、Llama 3.1 70B、8Bモデルを発表した
- クローズドモデルと比べてコスト対性能がはるかに優れており、405Bモデルがオープンソースであるという事実は、より小さなモデルをファインチューニングし蒸留するうえで最良の選択肢になることを意味する
- さまざまな企業と協力して、より広範なエコシステムを成長させている
- Amazon、Databricks、NVIDIAなどと協力し、AIモデルのファインチューニングおよび蒸留を支援する包括的なサービスを提供
- Groqは低遅延・低コストの推論サービスを構築
- AWS、Azure、Google、Oracleなど、すべての主要クラウドでモデルを利用できる
- Scale.AI、Dell、Deloitteなどは、企業がLlamaを採用し、自社データを使ってカスタムモデルを訓練できるよう支援
- コミュニティが成長し、より多くの企業が新しいサービスを開発することで、私たちはLlamaを業界標準にし、AIの恩恵を誰もが受けられるようにできる
- MetaはオープンソースAIにコミットしている。
- オープンソースが皆さんにとって最適な開発スタックだと考える理由、
- LlamaをオープンソースにすることがMetaにとって良い理由、
- そしてオープンソースAIが世界にとって良い理由、
- そのため長期的に存続するプラットフォームについて説明する
オープンソースAIが開発者にとって良い理由
- モデルを自ら訓練し、ファインチューニングや蒸留ができる: 各組織は独自のデータを使って最適なモデルサイズへ調整できる
- クローズドベンダーに依存せず独立性を維持できる: オープンソースは互換性のあるツールチェーンのエコシステムを提供し、自由に移行できる
- データ保護: 機密データをクラウドAPIに送らず、自前のモデルで処理できる
- コスト効率が高い: Llama 3.1 405Bモデルはクローズドモデルより約50%低コストで推論できる
- 長期的な標準に投資できる: オープンソースはクローズドモデルより速く進化している
オープンソースAIがMetaにとって良い理由
- Metaのビジネスモデルは、最高の体験とサービスを提供することにある。
- そのためには常に最先端技術へアクセスでき、競合他社のクローズドなエコシステムに縛られないことが必要
- Appleプラットフォーム上でサービスを構築した経験を通じて、クローズドエコシステムの制約を経験してきた。
- オープンなエコシステムを構築すれば、より良いサービスを提供できる
- オープンソース化は技術的優位を手放すことだという懸念もあるが、それは大局を見落としている
- エコシステムの発展: Llamaはツール、効率改善、シリコン最適化、その他の統合を通じて完全なエコシステムへ発展する必要がある。Llamaを使う企業がMetaだけでは、エコシステムは発展しない
- 競争力の維持: AI開発は極めて競争的になるため、オープンソース化は大きな技術的優位を放棄することにはならない。Llamaは世代ごとに競争力があり、効率的で、オープンでなければならない
- ビジネスモデルの違い: MetaにとってAIモデルへのアクセス販売はビジネスモデルではないため、Llamaをオープンソース化しても収益、持続可能性、研究投資能力を損なわない。これは複数のクローズド提供企業が政府に対しオープンソース反対のロビー活動をしている理由の一つでもある
- オープンソースの経験: Metaにはオープンソースプロジェクトと成功の歴史がある。Open Compute Projectを通じてサーバー、ネットワーク、データセンター設計を公開し、数十億ドルを節約した。PyTorch、Reactなどのツールをオープンソース化し、エコシステムのイノベーションから恩恵を受けてきた。このアプローチは長期的にMetaに一貫して有利に働いている
オープンソースAIが世界にとって良い理由
- オープンソースはAIの前向きな未来に不可欠である
- AIは生産性、創造性、生活の質を高め、経済成長を加速させ、医療や科学研究の進展を可能にする
- オープンソースは、より多くの人々がAIの恩恵と機会を享受できるようにし、権力が少数の企業に集中しないよう保証する
- AI技術がより均等かつ安全に社会全体へ配布されることを可能にし、オープンソースは透明に開発されるため、より安全である
- 安全性を理解するための私のフレームワークは、2つのカテゴリーの害から守らなければならないということだ
- 意図しない害: AIシステムが意図せず害を及ぼす場合
- 例: 誤った健康アドバイスの提供、自己複製、または過度な目標最適化
- 意図的な害: 悪意ある利用者がAIモデルを使って害を及ぼす場合
- 非意図的な害が懸念の大部分を占める
- 例: AIシステムが人々に及ぼす影響、AIが人間に害を与えるSF的シナリオ
- オープンソースはシステムがより透明で広くレビュー可能なため、非意図的な害を防ぐうえでより安全である
- Llamaのようなオープンソースモデルは、安全システム（Llama Guard）により、クローズドモデルよりも安全性・セキュリティが高い可能性がある
- 私たちは厳格なテストやレッドチーム活動を含め、モデルの有害性を評価し、リスクを軽減しようと努めている
- モデルは公開されており、誰でもテストできる。
- AIモデルはインターネット上の情報を学習するため、モデルが既存の情報以上の害をもたらし得るかを考慮する必要がある
- 意図的な害に関する考慮
- 小規模な主体と大規模な主体の違いを区別しなければならない
- 将来、悪意ある個人がAIモデルを使って新たな害を生み出す可能性がある
- 小さな悪意ある主体の力を大きな主体が抑制できるようにするには、AIが広く配布される必要がある
- 大きな組織がAIを大規模に配布すれば、社会全体の安全と安定を促進できる
- 米国と民主国家の対応
- 米国の強みは分散型のオープンなイノベーションにある
- モデルをクローズドにして中国がアクセスできないようにすべきだという主張もあるが、これは効果的ではない
- スパイ活動は巧妙であり、モデルは盗まれやすい
- クローズドモデルしかない世界では、一部の大企業と敵対国だけがモデルにアクセスすることになり、スタートアップ、大学、中小企業は機会を逃す可能性が高い
- 米国のイノベーションをクローズドな開発に限定すれば、先頭を維持するのは難しい
- オープンなエコシステムを構築し、政府や同盟国と協力して最新技術の利点を最大化すべきである
- オープンソースAIは、経済的機会と安全保障を最大限に活用できる世界最高の方法である
- 今日の主要テクノロジー企業と科学研究はオープンソースソフトウェアを基盤としている
- 次世代の企業や研究もオープンソースAIを利用することになる
一緒に作っていきましょう
- MetaはこれまでのLlamaモデルとは異なるアプローチを取っている
- 私たちは社内でチームを編成し、できるだけ多くの開発者とパートナーがLlamaを使えるよう支援している
- エコシステム内のより多くの企業が顧客に独自の機能を提供できるよう、積極的にパートナーシップを構築している
- Llama 3.1のリリースが、ほとんどの開発者が主にオープンソースを使い始める業界の転換点になると信じている
5件のコメント
メタがこれまでやってきたことを見る限り、意図しない害であれ意図的な害であれ、黙認する可能性が高いように見えます。個人的な評価ですが、ザッカーバーグは信頼できない人物です。
Llamaはオープンソースか？ No.
学習データ = ソースコード
今回のLlama 3.1モデルはオープンソースとして公開されました。しかし、学習データは非公開です。AI、ディープラーニングでは学習データが「ソースコード」であり、モデルはアプリ(app)のようなものです。したがって、実際のところLlamaをオープンソースだと言うことはできません。単に無料の言語モデルアプリを公開しただけです。
MetaはLlamaの学習データを公開する可能性があるか？ No.
Llamaの学習データはテキストだけで15兆トークンで、マルチモーダル学習のために画像・動画・音声データもあるはずですが、これらのデータのかなりの部分はFacebookやInstagramなどの顧客データである可能性があります。したがって、これを公開することは社会的に大きなデータ所有権・著作権の問題を引き起こすため、Metaはデータを公開したくてもできないだろうと予想されます.
Meta、かっこいいですね
Hacker Newsの意見
オープンソースAIをめぐる用語は混乱している
AIスタートアップと開発者にとって大きな利点がある
Metaはオープンモデルを提供する数少ない大手AI企業の1社である
Metaの広告収益モデルには注目すべきである
MetaはAIオープンソースの旗手としての地位を築こうとしている