- Kimi K3の公開以降、オープンソースAIを危険な脅威とみなす声が高まっているが、プロプライエタリソフトウェアもオープンソースの基盤の上に構築されており、AIモデルも同じソフトウェア製品である
- 商用企業は、差別化につながらない下位コンポーネントを共同で開発し、上位の製品で競争するため、AIモデルもコモディティになる可能性がある。ただし、フロンティア研究所にはそれを望まないインセンティブがある
- PGPやSSLの事例のように、オープンソースソフトウェアを抑え込むのは非常に難しく、中国製モデルを規制しようとしても、蒸留やファインチューニングにより国籍の基準が曖昧になり、米国ユーザーだけが制約を受ける可能性がある
- Nvidia、米国スタートアップ、企業のAIユーザー、Google・Metaなどは、それぞれの事業上の理由からオープンソースモデルを開発するインセンティブがあり、無料モデルは国が新技術を吸収し経済を成長させるためのAI移行の資源になり得る
- 中国によるダンピング・プロパガンダ・バックドアを懸念する論拠は、ソフトウェアが複製・修正・検査可能であることを見落としている。オープンソースAIは強力で制御が難しく、政策的な抑制にもかかわらず拡散し続ける可能性が高い
オープンソースが商用ソフトウェアを支える仕組み
- OpenAIのDean Ballは、オープンウェイトモデルが支配的になると、AIが市場の商品ではなく公共財になる「AI共産主義」が現れる可能性があると見ている
- フロンティア研究所の論理は、オープンソースモデルは危険であるため、責任あるゲートキーパーと信頼できるユーザーだけがアクセスすべきだという構図だが、実際にはプロプライエタリソフトウェア全体がオープンソースの上に構築されている
- ソフトウェア製品は、複数のプログラムが層状に積み重なった構造である
- Uberのようなサービスを作るには、プログラミング言語のフレームワーク、Webトラフィックを送受信するソフトウェア、データ分析ツールなど、多数のコンポーネントが必要になる
- こうした下位コンポーネントの大半は企業の差別化要因ではないため共同で開発し、実際に差別化が起きる上位レイヤーで競争する方が商業的利益にかなう
- フロンティア研究所は、AIモデルが競争する必要がないほど一般的な汎用コンポーネントになることを望んでいないが、実際にそうなるかはまだ決まっていない
- ここでいうオープンソースモデルとは、オープンウェイトモデルを指す
オープンソースの抑制が難しい理由
- オープンソースソフトウェアを抑え込むのは極めて難しく、抑制の試みは国際的な競争相手に対抗する自国企業を弱体化させる可能性がある
- Phil ZimmermannがPGPを作った1991年当時、米国政府は暗号化を軍事技術として扱い、Zimmermannに対する刑事捜査を開始した
- NetscapeがSSLを開発した際、米国政府は弱体化されたバージョンだけを海外に配布することを認めた
- 弱体化された国際版の方が流通しやすくなり、多くの米国人もそれを使った
- 輸出規制は暗号化の普及を止められず、むしろ米国人に不利に働いた
- SSLやPGPをはじめとする暗号化ツールは世界各地で使われ続け、裁判所は暗号化ソースコードの公開を保護される表現だと判断した
- その後、米国政府は暗号化の輸出規制を緩和した
中国製モデルだけを規制するのが難しい理由
- モデルの国籍を判定する基準自体が曖昧である
- 米国製モデルから蒸留したモデルを中国製モデルと見なせるのかは不明確である
- 米国人が中国製モデルをファインチューニングした場合、それがどの国のモデルなのかも明確ではない
- こうした規制は、せいぜい米国人に一時的な行政上の負担と限られたAIアクセスを課し、他国より不利にする可能性があるだけである
中国以外にもオープンソースAIを作るインセンティブがある
- オープンソースAIは、中国政府だけが開発インセンティブを持つ技術ではなく、複数の商業主体がそれぞれの事業上の理由から参加し得る
-
チップメーカー
- Nvidia CEOのJensen Huangは、Nvidiaが作っているものを「トークン工場」と呼んでいる
- Nvidiaは、フロンティアモデルであれ安価なオープンソースモデルであれ、自社チップ上で動くなら、できる限り多くのトークン需要を生み出そうとする
- 自社でもNemotronオープンソースモデルファミリーを公開している
- フロンティアモデルの訓練に投じられる巨額の資本もNvidiaに有利だが、長期的に商用トークン需要がオープンソースのトークン需要に置き換わっても利益を得る
-
米国スタートアップ
- Thinking Machines Labは、強力なオープンソースモデルInklingを公開した
- モデルがコモディティになれば、それを補完したりカスタマイズしたりする付加サービスで、防御可能な競争優位を築けると判断している
-
企業のAIユーザー
- 現時点ではオープンソースAIの開発に積極的ではないが、複雑度の低いタスクにはより安価なモデルを求めるようになる
- 顧客向け機能には、よりきめ細かな制御権が必要になる
-
大手テック企業
- GoogleとMetaは、OpenAIの新しい広告製品を注視せざるを得ない
- フロンティアモデルの広告事業が成長すれば、広告のないオープンソースモデルをコモディティ化し、広告競争を抑え込むインセンティブが生まれる
曖昧な「AI競争」の目標
- 中国製モデルへの懸念は、しばしばAI競争に敗れるという表現に集中するが、目標が最高のモデルを開発することなのか、最も多くのトークンを販売することなのかさえ明確ではない
- AI競争は、月へ最初にロケットを送ることとは異なり、新しい変革的技術に対応する過程であるため、「インターネット競争」という表現と同じくらい曖昧である
- 国家間の競争があるとすれば、核心は技術転換を吸収し、経済を成長させることにあり、この基準では無料AIモデルは脅威ではなく利点になる
中国のAIダンピング論
- Scott Gallowayは、中国が太陽光パネル、鉄鋼、EV、バッテリーの品質を西側水準に合わせた後、価格を3分の1に下げて市場を支配しており、無料AIにも同じ戦略を適用できると見ている
- しかし、チップを除くAIは物理的な商品ではない
- 太陽光パネルと鉄鋼は、各段階が独立して存続しにくい物理的なサプライチェーンを必要とする
- 自国で太陽光パネルを製造していなければ、太陽光発電向けシリコンウェハー事業も構築しにくい
- ソフトウェアでは、中国からオープンソースモデルが出てきても、米国のファインチューニング事業を妨げることはなく、むしろその事業の基盤として活用できる
プロパガンダ的バイアスとモデル修正
- 中国製モデルに親中国バイアスが含まれる可能性を想定するのは不合理ではないが、それを抑制の理由にするのは難しい
- オープンソースモデルの政治的バイアスが問題なら、米国ユーザーがそれを修正し、「米国化された」モデルとして再配布できる
- 米国市場では、歪んだ親中国バイアスを持つモデルが、性能の近い親米バイアスモデルを上回るのは難しい
バックドアと公開検査の関係
- AIも脆弱性市場の基本構造を変えるわけではなく、責任ある主体は脆弱性をパッチし、攻撃者はそれを悪用する
- 責任ある主体のツールを制限すると、攻撃者だけが有利になる
- 悪意ある行為者がモデルに隠れた敵対的動作を埋め込むことは、理論的には可能である
- 責任ある主体はこうした動作をできるだけ早く見つける必要があり、誰でもモデルを検査できるようにすることが最も効果的な方法である
フロンティアモデルとコーディングエージェントの競争力
- フロンティア事業者が非フロンティア市場まで支配する保証はない
- 小型モデルの開発では、巨額資本へのアクセスはそれほど重要ではない
- フロンティア事業者はユーザーをより高価なモデルへ誘導できるため、小型モデルを積極的に開発するインセンティブに乏しい
- Claude CodeとCodexの粘着性は、CokeとPepsiのように、一度選んだ後にあえて乗り換える理由が少ないという程度であり、コストと品質が同程度であるという前提が必要である
- コーディングエージェントには防御可能な競争優位はなく、価格差・モデル品質・信頼性の問題のような小さな不便が生じるだけでも、ユーザーは別のエージェントへ移る可能性がある
オープンソースAIの拡散
- オープンソースAIは強力でありながら制御が難しいため、政策立案者や企業リーダーの選好だけで止めるのは難しい
- 拡散を抑え込もうとする試みは一時的なノイズを生むだけで、オープンソースAIの登場を止めることはできない
1件のコメント
Hacker Newsの意見
これはオープンソースAIではない。PhotoshopのソースコードとOSIライセンスがあって初めてオープンソースであり、バイナリだけを公開するのは公開ウェイトに当たり、SaaSのWebアプリはGPTやOpus/Fableのようなクローズドモデルである
問題の中国モデルは、APIの代わりに独自環境でバイナリを実行することを許可しているだけだ。本当のオープンソースを望むなら、OLMo 3のようなプロジェクトを見るべきだ: https://allenai.org/
ただし、透明な事前学習のためのMAP-Neo・YuLan-Miniや、推論強化学習のためのDAPO/verl・Open-Reasoner-Zeroなど、構成要素は複数のプロジェクトに分かれて存在する。中国版OLMoが出るのは時間の問題であり、スイスのApertusや日本のLLM-jp-4をはじめとする世界の公共部門の取り組みまで考えれば、2027年には個人でも少なくとも2023〜2024年水準の最先端モデルを再現できる完全なオープンソース手引きが登場しそうだ
むしろ科学研究に近く、公共資金とそれを管理する信頼できる機関が必要だ。Allen AIがその役割を果たしてくれることを望むが、米国が公益AIに必要な投資へ向かっているのかは疑わしい。また、Photoshopは公開ウェイトモデルとの比較として不適切だ。Photoshopのコピーは合法的に配布できないが、GLM 5.2は配布できるので、比較するなら無料のプロプライエタリアプリケーションを挙げるべきだ
学習データ全体とアーキテクチャを受け取ったとしても、モデルを修正するために最初から再学習するのではなく、望む挙動にファインチューニングするだろう。ソフトウェアを修正できるときにオープンソースと呼ぶように、モデルもファインチューニングできるならオープンモデルと見なせる
現実的には、同等のモデルをゼロから学習するには真のオープンソースが必要だ
中国モデルをめぐる不安は「AI競争に遅れる」という点に集中しているが、一部の人が語る目標は一種のシンギュラリティに到達することだ。SF的な解釈を信じなくても、AI開発の特定の成果が事実上の超強力兵器になり得るという現実的な議論はある
Altmanも結局そうしたことが起こるだろうし、自分がそれを作りたいと公に述べてきた。超知能でなくても、機械がサイバーセキュリティ脆弱性を攻撃できるなら政府にとって十分に懸念材料であり、最近米国政府が米国製モデルを禁止した際にもこうした名目が使われた。シンギュラリティを信じなくても、一部がそれをAI競争の目標と見なしている事実は容易に理解できる
代わりに、そのような安全ガードのないGLMを動かしてデータを分析し、根本原因を突き止めた。企業が脅威を適切に評価するには、安全ガードが最小限のモデルも必要だ。制御不能な最先端AIを点検する公開ウェイトAIがなければ、対応手段も失われる
投資家はシンギュラリティ以前から継続的な収益を期待するので、企業はモデルを販売しなければならない。現世代を閉じ込めてしまうと、次世代を作る資金も得られないという難しいバランスになる
OpenAI幹部が「中国の研究所から、生命もなく、目にも見えず、危険で、無限に自己複製するエージェントが脱走した」と恐怖を煽ってから、わずか4日後にhttps://news.ycombinator.com/item?id=48997548が出たのは滑稽だ
近未来から中期にかけてのAI安全性への懸念の程度には合理的な意見の違いがあり得る。しかし、関連する議論をまったく扱っていないことは、この記事の価値を大きく損なっている
記事の観点はオープンAIとクローズドAIの比較であり、両者の安全性への懸念が大きく違うとは見ていないので、多くの分量は割かなかった
ローカルで自由に実行できるAIに反対する理由は、企業が一般大衆を統制したいからだ。米国は企業中心の地獄だ
LLMは公開データだけでなく、不正取得されたデータでも学習されている。Anthropicの15億ドル和解がその例であり、LLMは膨大な人間のデータなしには何者でもない
この種の研究は、動機が衝突する不透明な上場企業よりも、政府や規制を受ける大学に限定するか、あるいはインターネット標準・通信のように民主的な指導体制を持つ真の非営利共同体が管理すべきだと見ることもできる。どれほど美徳を誇示しても、民間企業が自らを効果的に規制し、リスクを大衆と科学界に透明に知らせると信じるのは難しく、継続的な利益相反が信頼性を損なっている
「Xを止めることはできない」という言葉は、「Xは悪くない」という結論を支える怠惰で粗末な論拠だ。本文の残りについては特に言うことはない
私の立場は、オープンソースAIは止められず、これを止めようとする試みは必然的に善良な行為者より悪意ある行為者に大きな力を与える、というものだ
ロビー資金はこうした議論を気にしない
中国製ルーターやネットワーク機器ではバックドアが引き続き発見されている。中国モデルを完全に監査する方法が生まれるのか疑わしい
公開重みモデルは特定の実行レイヤーに縛られないため、実際に懸念すべきセキュリティ領域は重みそのものに限定される。敵対的な指示注入なのか、歴史改変やプロパガンダの注入なのか、あるいは非主権モデルが主権モデルより特に危険になる別の経路なのか、具体化する必要がある
この文章は安全性の問題をまったく扱っていない。悪意ある行為者が公開重みをファインチューニングして、事実上あらゆる個人を狙った完全自動化・天才級の詐欺を実行するのを何が止められるのか？
結局、ファインチューニングであれ事前学習であれ、クローズド重みの悪用を防ぐには善良な側にも公開重みが必要だ
AI経営陣の強欲が箱を開け、今や彼らは結果に責任を負わずに利益だけを得る方法を必死に探している
ローカルで回す資金があるなら、詐欺よりはるかにひどいこともできる。ロビイストに聞けばよい