政府・企業・非営利団体が自由・オープンソースAIに投資すべき理由
(siegelendowment.org)- ソフトウェアは商業資産であると同時に、共有するほど発展する知識体系であり、GCCやGNU/Linuxが示すように、オープンソースは現代のインターネットと技術産業を支える基盤となっている
- コードを公開すれば、世界中の開発者が欠陥を見つけて修正でき、次世代のエンジニアが最先端システムの構築方法を学べるため、透明性はセキュリティと人材育成の双方に貢献する
- 最先端AIが少数企業のクローズドモデルに集中すると、研究者は構築過程や学習データを確認しにくくなり、AIに依存する科学・医療・工学・司法判断も十分に監査しにくくなる
- AIソフトウェアそのものが能力であるため、公開に伴うリスクは存在するが、クローズドモデルも流出や脱獄に脆弱であり、少数企業が許可する技術を決めるという権力集中まで引き起こす
- すべてのオープンソースAIが最先端モデルの規模に追随する必要はなく、政府・企業・非営利団体は公共コンピューティング支援、大学・非営利研究への助成、公的資金で作られたAIを原則公開する方針に投資すべきである
自由ソフトウェアをめぐる論争
- 1980年代のMIT AI LabでRichard Stallmanと約2年間論争していた当時は、ソフトウェアの発展には企業によるコードの独占的な管理が必要だという通念に従っていた
- Stallmanは、ソフトウェアは知識を宿す媒体であるため、誰もが利用し、学び、改善できるべきであり、企業内にコードを隠すことは知識そのものを隠すことだと考えていた
- 両者とも、コンピューターが人間の発展を加速する重要な手段になる点では一致していたが、その目標に至る方法では意見が分かれていた
- 論争を経て、ソフトウェアは単なる商業資産ではなく、共有されると強くなる知識体系だという考えが説得力を持つようになった
- ユーザーがソフトウェアを研究・変更・改善・共有する自由を保障すべきだというStallmanの原則は、自由ソフトウェア運動とその後のオープンソースの土台となった
GCCとGNU/Linuxが証明した公開開発
- Stallmanが作ったGCCは、世界中のコードをコンピューターが実行する機械語へ変換し、現在まで使われる中核的なプログラムとなった
- この成功は個人の作業だけではなく、数千人の貢献によって可能になった
- 同じ公開開発の精神から生まれたGNU/Linuxは、現在インターネットの大部分を動かしている
- 現代の技術環境は、公開開発の原則とオープンソースに大きく依存している
オープン性がセキュリティと学習にもたらした効果
- 初期には、コンピューターを安全に守るにはソフトウェアを隠すべきだという隠蔽によるセキュリティの論理が主な反論だった
- 透明なソフトウェアでは、世界中の開発者コミュニティが問題を発見して修正できるが、クローズドソフトウェアでは、誰も内部を十分深く覗き込まないことを期待するしかない
- オープンソースコミュニティは、構築方法に関する知識を広く広め、一世代のエンジニアが学ぶ事実上の教科書としての役割も果たしている
- 最先端システムがすべて隠されれば、閉ざされたシステムから学べることはほとんどなく、次世代のイノベーターを育成するのが難しくなる
技術産業を支えてきたオープンソース・エコシステム
- 数十年にわたる技術発展は、民間企業、大学、数万人のボランティアが共有ソフトウェア基盤に貢献する繊細なエコシステムから生まれた
- 世界的に成功した多くの企業は、公開された中核技術の上にサービスを構築して収益を上げている
- プロプライエタリソフトウェアにも役割はあるが、オープンソースは現代の技術産業の荷重を支えてきた基盤であり、弱体化させてはならない
初期段階から閉ざされるAI
- AIもソフトウェアだが、最も進んだ最先端モデルは完全にクローズドであり、閉鎖の速度も速まっている
- 実際に使える公開代替手段は少なく、現在のモデルは優れているもののまだ未完成で、構築方法も確立されていない
- 最も深いブレークスルーがこれから残されている初期の科学分野を今閉ざせば、発展に必要な共有知識が失われる可能性がある
- 大学の科学は、研究成果を公開し、世界中が後続研究を行う形で発展してきた
- 未来の科学の大半がAIに依存するなら、AIを少数企業の内部に閉じ込めることは科学の発展まで制限するリスクがある
未来の図書館を誰が支配するのか
- 図書館は、誰もが人類の蓄積した知識を無料で利用できる共有資源である
- 少数の企業がすべての図書館を買い取り、読める本を決め、内容を静かに書き換えるなら、受け入れがたい
- クローズドAIもまた、所有者が定めた条件でしかアクセスできない未来の図書館のようなものだ
- 少数企業がモデルの許容範囲を決めたり、回答の導出方法を調整したりすれば、モデルに依存する人は結果を完全には理解できなくなる
- 診断にモデルを使う医師
- 設計を任せるエンジニア
- 判断の参考にする裁判官
- 何を信じるべきかを尋ねる一般ユーザーも、全員が同じ問題に直面する
モデルの説明は監査記録ではない
- モデルが理由を述べられるとしても、**説明と監査（audit）**は同じではない
- モデルが提示する理由は、答えを作った実際の計算の忠実な記録ではなく、結果が出た後に組み立てられたもっともらしい物語である
- 同じ質問を翌年にしたとき答えが変わっていても、現実が変わったのか、提供者がモデルを変えたのかを確認する方法がない場合がある
- このようなシステムに依存するユーザーは、理解できる道具を活用するのではなく、内部を調査できない神託のようなシステムを信じることになる
公開AIとクローズドAIが生むリスク
- AIは公開するには危険すぎるという反論は、真剣に検討する価値がある
- 研究論文は能力を記述するが、基盤となるAIソフトウェアはそれ自体が能力であるため、一般的な研究公開とAI公開の間には実際の非対称性が存在する
- とはいえ、閉鎖が必然的な答えではない
- 科学的発見も悪用され得るが、物理学全体を機密化するのではなく、監視とルールを適用しながら基礎知識は公開している
- クローズドモデルも流出したり脱獄されたりする可能性があり、単に閉ざされているというだけで安全なわけではない
- 少数企業が、社会の残りの人々が何を構築できるかを決める権力集中も、別のリスクを生む
- 判断基準は、公開モデルにリスクがまったくないかどうかではなく、すでに利用可能な能力より意味のある追加リスクを生むかどうかである
実行コードと構築コードの違い
- モデルの背後には、モデルを実行するコードとモデルを作ったコードという2種類のコードがある
- モデルを直接実行できることも有用だが、透明性のためにより重要なのは、モデルをどのように作ったかを示す構築コードと学習データである
- 現在公開モデルと呼ばれる中国の主要研究所や一部の米国企業のモデルは実行コードを提供しているが、構築コードと学習データは公開していない
- ユーザーが受け取るのは、知能を生み出すが形成過程は分からない巨大な数値の集合であり、実行できても説明できない魔法の数字に近い
- 実行コードの公開でさえ継続的な約束ではなく、企業の裁量による善意であり、今後も最も強力なモデルが公開され続ける保証はない
- いつでも中止できるオープン性は基盤にはなり得ないため、次の2つがどちらも必要である
- 誰もが利用し拡張できる公開モデル
- 誰もが制作過程を確認できる公開ソース・学習データ
公共財としてのオープンソースAI投資
- AI企業の存在や民間AIそのものに反対しているのではなく、クローズドな民間AIが唯一の選択肢になってはならない
- 米国の民間AIは十分な支援を受けているが、オープンソースAIは擁護基盤が弱く、政策や投資から簡単に抜け落ちかねない
- 最先端モデルは今後も大きくなり、コストも増える可能性があるため、その規模での競争は巨大企業の領域に残る可能性がある
- オープンソースAIが有用であるために、必ずしも最先端モデルと同じ規模である必要はなく、世界が必要とする多くの作業には絶対的な最先端性能が不要な場合がある
- 信頼できる公開代替手段を維持するのに大規模なコンピューティング資源が必要なら、それは費用を支払う価値のある公共財である
- 政府・民間部門・非営利団体は、自由・オープンソースAIに積極的に投資すべきである
- 公開研究のための公共コンピューティング補助金を提供する
- 関連研究を行う大学と非営利団体に企業・慈善資金で支援する
- 公的資金で構築したAIは原則として公開するという原則を導入する
- オープンソースソフトウェアに投資して技術発展を導いてきたやり方を、AIでも継続すべきである
1件のコメント
Hacker Newsの意見
民間AI企業は、事実上みんなから奪ったデータでモデルを学習し、大きなリスクまで招いているのだから、非商用ライセンスの公開重みでモデルを配布するよう強制すべきだ
Darioが進める規制の虜獲ではなく、こうした方向こそが安全政策の中核であるべきだ
補償なしに利用可能なあらゆるデータで学習することに本当に腹を立てているなら、自業自得としか言いようがない
公開モデルのための 目標型インセンティブ賞金 を、ノーベル賞受賞者 Michael Kremer の方式のように共同で支援する必要がある
6〜12か月ごとに、16GB・32GB・64GB・128GB VRAM、最小 200K のコンテキスト長で、5〜10個の難しいベンチマークと1つの非公開ベンチマークにおいて基準を初めて超えたモデルに20万ドルを支払い、次回はその基準を引き上げればよい。量子化方式は自由だが、基準ハードウェア上で正確にそのVRAMだけを使わなければならず、RAMやディスクに逃がしてはならない
資金はクラウドファンディングで集め、PDF処理のように企業需要に特化した賞金を追加して相互補助することもできる。企業賞金の25%を一般賞金プールへ回す形だ。公開モデル企業にとっては資金も有用だが、モデルを目立たせ利用を増やしてくれる 明確な公的認証 の方がより大きな価値を持つかもしれない
明確なハードウェア等級は良い差別化要因だが、ベンチマークは必ず非公開でなければならない。各段階ごとに良い評価セットを作って維持するのは、誠実な研究所の内部評価ですら難しく、信頼性のためには毎回の終了後にそれを公開し、次の評価を新たに作る必要がある。可能ではあるが、評価管理コスト が賞金総額を上回るかもしれず、それを継続的に繰り返さなければならない
FOSSは誤った比喩だ。最先端の大規模言語モデル構築は、主に工学分野というより 科学研究プログラム に近い
大学や CERN のような大規模プロジェクトを含め、事実上オープンソース的な研究プログラムも存在する。AIもまた大学で育ったが、必要な資本は民間部門でしか調達できないことが明らかになった
きちんとした公共AI研究プログラムも可能だが、大学研究費を少し増やす程度ではなく、最先端研究所がすでに手本としている マンハッタン計画やアポロ計画 に近いものになるだろう
冷戦が最高潮だった時期のアポロ計画全体の費用は現在価値で約3000億ドルで、これはこれまでに OpenAI と Anthropic が合わせて調達した額に近い。現在の政治・経済環境で、政府がAIにこれほどの資金を出せるのかは疑わしい。比較すると、LHC ははるかに長い期間をかけても100億ドルもかからなかった
同じ意味に聞こえるかもしれないが、視点は違う。学術研究プログラムであれば、一般大衆にAIを無料提供するためにデータセンターへ数十億ドルも投じたりはしなかっただろう
すでにオープンソースAIに投資してはいるが、本当に無料なものはない。開発者が本業として働き報酬を得る 商用AI がたいてい優勢にならざるをえず、善意とパートタイムの貢献だけでは、生計や利益の動機に安定して勝つのは難しい
閉鎖型の最先端モデルをほぼ独占的に支配する Altman、Amodei、Zuckerberg、Musk の4人が、投資家をだましているのではなく本当に AGI を作るのだとしたら、閉鎖型モデルが残す選択肢は強力な政府か、強力な寡占・君主制しかない
Musk と Zuckerberg は構造的に指揮権を握っている。Altman は競合排除と民営化の後、事実上の指揮権と組織の忠誠を確保し、Amodei は影響力が大きく、現在の支配構造を覆す可能性がある
ソフトウェアがクローズドソースだからといって、知識まで共有できないわけではない。基盤コードを見なくても、アーキテクチャパターンやベストプラクティスを説明することはできる
大規模言語モデル提供者が強化学習や Transformer に関する質問への回答を拒否してはじめて、図書館の比喩は正確になる
オープンソース・公開重みモデルを強く支持するが、主な理由はそれが より良い製品 だと思うからだ。学習と運用のコストがはるかに安く、ほとんどの作業には最先端の知能は必要ないかもしれない。市場に任せれば、大規模言語モデルはプログラミング言語に近いものになり、大手研究所は特定用途向けのファインチューニングや顧客向けデプロイで収益を上げる可能性が高い
AIを推し進める論理に従えば、慎重に選んだ大規模言語モデルのプロンプトをいくつか使えばオープンソース開発者の作業を再現できるのだから、なぜ私たちが彼らに資金を出す必要があるのか？ より多くの解法を記憶できるように AI企業がFOSSに資金を出すべき ではないのか
タイトルから「AI」だけ外せばよい。政府・企業・非営利団体 は自由・オープンソースに投資すべきだ
図書館の比喩自体は当てはまるが、不都合な点は、ほとんどの 公開モデル が図書館を受け取るというより、コンパイル済みバイナリを受け取るのに近いことだ
大衆が少しでも統制を維持するには、組合員所有の協同組合 が今後の進むべき道かもしれない
David Siegel は約2年前の https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420 の講演で、AIデータセンター拡張は時期尚早だと述べていた
現在のアプローチがこのままスケールし続けるとしても、それはコンピューティング初期に誰かが数字並べ替え用の バブルソート という O(n²) アルゴリズムを発明したからといって、テック企業が O(n log n) の方法を探す代わりに、数字並べ替え用の巨大データセンター建設に走るようなものだ、というたとえだった。まったくその通りで、オープンソースAIについても同じことが言える