- SB-1047は安全なAI開発を目的としているが、現行の条項はオープンソース開発者や小規模企業に過度な負担を課す可能性がある
- 開発制限が強まると透明性・協業が減り、より広い専門家コミュニティが安全上の問題を見つけて修正する能力も弱まる可能性がある
- 「covered model」の定義が広く、義務的な停止・報告・指針順守の要求が大きいため、善意のオープンソースモデル開発まで萎縮させる恐れがある
- 監査、法務相談、手数料、民事制裁の可能性は、スタートアップや研究者にとって参入障壁や自己検閲の圧力として作用し得る
- よりよいアプローチは、モデル開発そのものよりも高リスクな用途を規制し、オープンソース支援・産学官連携・政府のAI専門性への投資を並行して進めること
SB-1047に対する基本的な立場
- この記事はJeremyによるSB-1047法案作成者向けの個人提出文であり、Answer.AIの公式見解ではない
- SB-1047が目指す安全でセキュアなAI開発という目的自体は前向きに評価できる
- 問題は、現行法案の一部条項がオープンソース開発者、小規模企業、AIエコシステム全体のイノベーションに悪影響を及ぼし得る点にある
- オープンソース開発が制限されると、AIの安全性も同時に弱まる可能性がある
- 透明性・協業が減れば、より多くの専門家が潜在的な安全上の問題を特定し解決することが難しくなる
- 統制が少数の大規模主体に集中すれば、多様性・レジリエンスが低下し、単一障害点やシステム的リスクの可能性が高まる
オープンソース開発萎縮への懸念
- オープンソースは米国ソフトウェア産業の成功を可能にした重要な要素であり、多くの人が重要なソフトウェアツールにアクセスできるようにしてきた
- 現代AIの基本構成要素の多くもオープンソースから生まれており、学術研究や安全・セキュリティ研究もほぼすべてオープンソースを基盤に進められている
- オープンソースが弱まれば、開発者、消費者、学界、新興スタートアップのすべてが影響を受ける
-
過度に広い「covered model」の定義
- 法案の「covered model」の定義は非常に広く、リスクの低いさまざまなオープンソースモデルまで含まれる可能性がある
- その結果、有益なAIプロジェクトに取り組む善意の開発者の活動まで、意図せず犯罪化される可能性がある
-
汎用ツールに対する責任の問題
- AIモデルは、ワープロ、電卓、Webブラウザのようにコンピュータ上で動作する汎用ソフトウェアに近い
- Webブラウザや電卓の開発者がすべての悪用を防げないのと同様に、モデル制作者もモデルが絶対に有害な目的に使われないと保証することは難しい
- こうした責任を汎用ツールの制作者に課せば、十分な法務チームを持つ大企業以外は、事実上ツールを作ることが難しくなり得る
-
開発者要件の負担
- 法案は開発者に対し、義務的な停止、広範な報告、曖昧になり得る「covered guidance」の順守といった負担を課す
- 複雑な規制手続きを担う資源が不足しているオープンソース開発者にとって、こうした要件はより大きく作用する
- 法的結果や官僚的手続きへの恐れは、オープンソース開発への参加を減らし、AIの発展を支えてきた協業文化を弱める可能性がある
- 透明性が低下すれば、潜在的な安全上の問題を見つけて解決することもさらに難しくなる
小規模企業と研究エコシステムへの影響
- 提案されている規制は、AI分野でイノベーションを起こそうとする小規模企業やスタートアップに大きな参入障壁を生み出す可能性がある
- 規制順守コストと法的リスクは、起業家を萎縮させ、競争を制限し得る
- その結果、イノベーションの速度が遅くなり、権限が既存の大企業へさらに集中する可能性がある
-
コストと法的リスク
- 手数料、監査、法務相談などの規制順守コストは、小規模企業やスタートアップにとって大きな負担となる
- こうしたコスト構造は競争を制限し、既存の大企業に権限を集中させ、イノベーションを阻害する可能性がある
-
研究の萎縮と人材流出
- 法案の条項を意図せず発動してしまうかもしれないという恐れは、研究者や開発者の自己検閲につながり得る
- 有望なAI研究の方向性を避けるようになれば、科学的進展や社会問題解決に向けたAIの可能性が制限される
- 制約の多い環境は、有能なAI研究者や開発者をカリフォルニア州外へ移動させる可能性がある
- これはカリフォルニア州経済に損害を与え、AIイノベーションにおけるリーダーシップを弱める可能性がある
カリフォルニア州と米国のAIイノベーションへの波及
- カリフォルニア州は、特に技術分野で米国のイノベーションを牽引する重要な役割を果たしている
- SB-1047がAI開発に過度な負担を課せば、この重要分野におけるカリフォルニア州のリーダーシップが弱まる可能性がある
- その影響は米国全体に広がり、AI研究開発全体の進展を遅らせる可能性がある
提案されている代替案
- AIモデル開発そのものを規制するのではなく、AIアプリケーションと実際のリスクに焦点を当てるアプローチが必要である
-
オープンソース開発の支援
- AIモデルのオープンソース開発を奨励すれば、協業と透明性を高め、より多様でレジリエンスのあるAIエコシステムを作ることができる
-
開発よりも利用規制に集中
- 規制の焦点はAIモデル開発ではなく、AIの利用方法であるべきだ
- 特に公共の安全とセキュリティに高いリスクをもたらすアプリケーションに集中する必要がある
- 医療、刑事司法、重要インフラのように被害の可能性が大きい領域でAI利用を規制すれば、有害な利用に対する責任を確保しながら、AI技術の発展も継続できる
-
透明性・協業・専門性への投資
- 産業界、学界、政府の協力を通じて、責任あるAI開発のためのベストプラクティスの開発と採用を促進できる
- 業界標準の整備、オープンソース開発の促進、AI安全研究への投資があわせて必要である
- 政府機関がAI専門性を備えられるよう資源を提供すれば、潜在的リスクをより効果的に監視し対応できる
- こうしたアプローチは、安全とイノベーションのバランスを取った、より精緻なAI規制を可能にする
懸念される具体的条項
- Section 22602 (f): 「covered model」の定義が過度に広く、さまざまなオープンソースモデルを含む可能性がある
- Section 22603 (b): 開発者要件が過度で、オープンソース開発を萎縮させる可能性がある
- Section 22606 (a): 民事制裁の可能性が、研究とイノベーションに萎縮効果をもたらす可能性がある
- Section 11547.6 (c)(11): 手数料を課す権限が、小規模企業の参入障壁を生み出す可能性がある
1件のコメント
Hacker Newsの意見
モデル開発者が、モデルが有害なことに絶対使われないと保証することはできず、これはWebブラウザ・電卓・ワードプロセッサの開発者でも同じ
こうした汎用ツールの開発者に責任を負わせると、実際には十分な法務チームを抱える大企業以外は、こうしたツールを作れなくなる。技術が「有害な目的」に使われないと保証するのはほぼ不可能で、こうした条項はLLM開発において大企業以外の参加者を締め出す、もう一つの障壁になりそう
安全事故そのものに対して責任を負うわけでもなく、報告すればよいだけで、多少厄介ではあり得るが、全体としてはかなり合理的に見える
高性能モデルが悪事、さらには壊滅的被害に使われたからといって自動的に責任を負うわけでもなく、合理的な予防措置を取っていたかが核心。開発者の過失の有無にかかわらず壊滅的被害に責任を負わせる厳格責任方式もあり得たが、この法案はそうしていない
全体として、モデルが壊滅的被害を引き起こし得るなら、現在のモデルには当てはまらなくても将来のモデルでは可能になり得るため、予見可能にそうした被害を引き起こし得る形で配布してはならない、という趣旨でかなり合理的
法案の具体的な内容を知りたいなら、Zviの詳しい記事をすすめる。個人的には、最も深刻なリスクに焦点を当てたかなり限定的な提案で、たとえばEU AI Actよりはるかに狭いと思う: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
そうでなければ、オープンソースの生物剤研究、オープンソースの核弾頭、オープンソースの人間クローン作成プロトコルを止めることもあわせて批判しなければならない。これらもすべてデュアルユース技術であり、客観的には道徳的に中立だ
街角で手榴弾を売ることを認めないのと同じ。責任から逃れようとする態度は、大手テック企業で最も気に入らない点の一つ
これは新薬開発や材料科学向けAI、電力網やブロードバンドトラフィック管理向けAI、金融・医療サービスAIなどを含み得る。軍産複合体方面は、連邦契約だけが関係するなら、この法律ではそもそも手を出せない可能性もある。機密の軍事用AI開発は無謀に見えるし、War Gamesを見ていないのかと思う
https://technologymagazine.com/top10/top-10-military-technol...
少なくともオープンソースなら、能力がより即座に明らかになる
政治の世界がオープンソースAIを非常に強く狙い撃ちしていて、狂った状況に見える
Sorosは、企業AIプロジェクトと政府AIプロジェクトの結合が、企業イノベーションを遠ざけていた冷戦期の独裁者たちよりも強力な脅威を生むと述べた。「抑圧的な政権とIT独占の結合は、そうした政権に開かれた社会よりも内在的な優位を与える。彼らは開かれた社会に致命的な脅威をもたらす」という内容
https://www.wired.com/story/mortal-danger-chinas-push-into-a...
世界的な影響力を追求する側は、文字どおり誰もがAIに涎を垂らしている。近いうちに禁止されるかもしれない大きなllama3モデルを動かすために、512GBのMac Studioが出たら買うべきか真剣に悩むほど
OpenAIのような企業の投資家や受益者が、政治家と近い関係を持っている可能性がある。直接のつながりはない可能性が高く、そうしたつながりを隠し、もっともらしく否認できるようにすることには、すでに非常に巧みになっているだろう
まだ本当に初期段階だ。学界が大きく失敗しない限り、5年ほど後には教授の研究クラスターで現在の最先端レベルのモデルを学習できるようになるだろうし、おそらくR1大学に限られることもないだろう
長期的には、図書館1館分のテキストにアクセスできる人なら誰でも、使えるモデルを作れるようになる気がする。私たちの脳に魔法のようなものはないのだから、いつかは人間に教えるのに必要な本の数程度で、コンピュータに読み書きを教えられるはずだ。たとえ私たちより10倍愚かでも、普通の米国人が一生に数百冊の本を読むのに、電子書籍を数千冊以上所有するには許可を取れと言うつもりなのかと思う
自律性がまったくなく、すべてがプロンプトの結果にすぎない弱いバージョンであっても、約束された性能を実際に提供するなら、深刻に不安定化するだろう。ほぼコストゼロに近い偽物のあらゆるものが可能になる世界に、私たちはまったく備えられていない
一方で、既存のITARのように、実際の安全性とはほとんど関係のない非常に奇妙なルールとして現れる可能性も高い
Mac Studioよりはるかに安い。数百ドルでR820を買い、RAM 256GBが入っていて、さらに多く拡張する余地もある
ブログには出ていないので補足すると、2024年2月7日にスコット・ウィーナー州上院議員がカリフォルニア州議会に SB-1047 を提出した。
正式名称は Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act で、高度な AI モデルの開発と利用を規制しようとする法案。開発者に対し、AI モデルの学習前に特定の安全性判断を行い、複数の安全要件を順守し、AI 安全事故を報告することを求める。また Department of Technology 内に Frontier Model Division を設けて監督し、違反時には民事罰を導入する。
https://www.dlapiper.com/en/insights/publications/2024/02/ca...
https://www.opensecrets.org/orgs/openai/summary?id=D00008425...
https://www.sfgate.com/politics/article/fentanyl-dealers-in-...
こうした規制が既存の先行 AI 企業に有利な固定化効果を生み、新規参入を不可能にしてしまうのではないかと心配している。
最初から10億ドルくらい調達できる完全にぶっ飛んだチームでなければ、競争するチャンスはない。
信じがたい。スコット・ウィーナーの住宅政策は好きだが、この法案には政府の過剰介入が蔓延している。
皮肉なことに、彼が長年闘ってきた NIMBY システムと同じ効果を生むだろう。
非派生の適用モデルの学習を開始する前に、限定義務の免除対象になるまで、そのモデルを迅速に完全停止できる機能を実装せよ、という具合だ。結局、許可されたものしか学習できないという意味に見える。
当然、手数料を課す権限を持つ新部門も付いてくる。Frontier Model Division を作り、開発者の年次認証報告書を審査して要約結果を公開し、関連手数料を課して別基金に入れられるようにする。
そして当然、コンサルタントにも金を払わなければならない。Department of Technology がコンサルタントに CalCompute という公共クラウドコンピューティング・クラスターの構築を委託し、大規模 AI モデルの安全でセキュアな展開に関する研究と、公正なイノベーションの促進を主な目標にするという。
簡単なはずではないかと思うし、それでも停止できることを保証するのは良いことに見える。
長期的にAI スタートアップにとって最も良い州はどこになるのか気になる。
以前ならカリフォルニアだと思っただろうが、今では規制で暴走する可能性が低い州を選ぶことの方が重要に見える。ワシントン州にはまだこうした動きがなく、州所得税もなく、Seattle/Redmond には AI エンジニアや研究者が多いので、ここにいる。Texas も規制を追加しない可能性が高く、Austin にいれば似た利点がある。カリフォルニアが規制で産業を追い出すなら、次にどこが浮上するだろうか。
だから Texas と Florida の都市が成長している。Seattle は天気が悪く、Washington は寒く、大都市は管理が行き届いておらず、裕福な家族にとって住む魅力がない。
カリフォルニアは電気料金が特に高く、新しい産業施設の建設も難しくしている。冷却需要に役立ち得る水域の近くならなおさらだ。企業が一部の従業員をカリフォルニアに置くことはできても、ハードウェアは別の場所で動く可能性が高い。
この記事は非常に出来が悪く、LLM 生成物の匂いがする。
この法案を実際に理解したいなら、Zvi の分析を読む方がよい: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
例えば、適用モデルの商業的・公開的・広範な利用を開始する前に、肯定的な安全性判断または限定義務の免除がない場合、開発者は「個人がそのモデルを使って重大な危害を引き起こす派生モデルを作れないようにする」合理的な保護措置と要件を実装しなければならない、とされている。
これは単純に不可能だ。モデルの重みを渡されたら、私は間違いなくファインチューニングして、適用上の危害を引き起こすようにできる。例えば化学・生物兵器の製造手順を提供させることができる。この要件は満たせず、満たせなければ適用モデルを配布できない。
会社や著者が内部製品を直接使ってみた可能性は非常に高い。
「適用モデル」とは、次の2つの基準のいずれかを満たすAIモデルを指す
第一に、10^26回を超える整数または浮動小数点演算量で学習されたモデル。第二に、2024年時点で10^26回を超える演算量で学習されたAIモデルと同等またはそれ以上の性能を出すと合理的に予想されるほど大きな演算量で学習されたモデルであり、これは最先端の基盤モデルの一般的な性能を定量化するのに一般的に使われるベンチマークで評価される
基本的なCPUアーキテクチャの授業を受けただけでも、整数演算と浮動小数点演算では計算負荷が大きく異なることは分かる。ある主体が法廷でこの表現を利用し、事後的に適用基準を大幅に引き下げることもあり得る。例えば、浮動小数点演算1回は整数演算10回に相当するので、閾値は整数10^26回または浮動小数点10^25回だ、と主張できる
今日のベンチマークを基準に、より優れたアルゴリズムまで将来に備えようとするあまり、努力量そのものがもはや重要ではない地点にまで行っている。今日のベンチマークが実際の能力を反映しているかどうかにかかわらず、そこに基準線を引いているように見える。小さなモデルがこうしたベンチマークでは意図的に低い性能を出しつつ、核兵器製造のような彼らが懸念する課題では優れた能力を持つように学習される可能性もある
適用モデルの学習を開始する前に、開発者がそのモデルがすべてのベンチマークでより低い性能を示すかどうか判断できる、とされているが、学習前に性能をどうやって知るのかと思う
使える上限ができれば、人間の創意工夫はその範囲に収まる方向へ集まるはずだ。もちろん、これは米国だけの話である。中国、ロシア、北朝鮮、イランなどは、引き続きこの技術を自由に追求できる
この文章全体がChatGPTで書かれたように感じる
例えば、元の法案すら引用せず、オープンソースの価値について曖昧な主張を続けているだけだ
議論に何を付け加えているのか分からないし、反論として機能する論証があるのかも疑問だ
AIモデルの開発そのものを規制するより、特に公共の安全とセキュリティに高いリスクをもたらす応用領域を規制すべきだという提案は良いと思う
医療、刑事司法、重要インフラのように被害の可能性が最も大きい高リスク領域でAIの利用を規制すれば、AI技術の発展は引き続き認めつつ、有害な利用に対する責任を確保できる。このアプローチに反対する有力な論拠があるのか気になる