Yann LeCun: 本当の終末シナリオはAI「1%所有者」による永続的な権力掌握
(businessinsider.com)- MetaのチーフAIサイエンティスト Yann LeCun は、AIの現実的なリスクは人類滅亡ではなく、少数企業による長期的な支配にあると見ている
- 批判の焦点は、Sam Altman、Demis Hassabis、Dario AmodeiがAI安全性の議論を前面に出し、恐怖を煽ることと企業ロビーを行っているという点にある
- 2023年3月、1,000人以上のテックリーダーがAI開発を6か月停止する公開書簡に署名し、AIリスクを巡る議論は産業規制と権力構造の問題へと広がった
- LeCunは、「超知能を起動した瞬間に人類が終わる」という hard take-off の見方は誇張されており、本当の争点はAIがどのように開発・公開されるかだと考えている
- 閉鎖的な営利企業中心のAI開発と オープンソースAI の縮小が重なれば、少数企業がプラットフォームと人々のデジタル環境を左右できるようになる
LeCunの懸念: 終末論より規制の虜
- Yann LeCun は、AIのより現実的な脅威を 権力の集中 に見ている
- 少数の「one-percenters」がAIの富を独占し、残りの人々を排除する状況を懸念している
- Xへの投稿で、OpenAIの Sam Altman、Google DeepMindのDemis Hassabis、AnthropicのDario Amodeiに直接言及した
- 彼らがAI安全規制の議論において 大企業によるロビー活動 をしていると批判している
- その試みが成功すれば「少数企業がAIを支配する」ことになり、LeCunはそれを「catastrophe」と表現した
- Altman、Hassabis、AmodeiはInsiderのコメント要請にすぐには応じなかった
- この発言は、物理学者 Max TegmarkのX投稿 への反応として出てきた
- Tegmarkは、LeCunがAIの終末論的リスクを十分に深刻に受け止めていないと見ている
- 英国のグローバルAI安全性サミットに触れつつ、Turing、Hinton、Bengio、Russell、Altman、Hassabis、AmodeiによるAIの実存的リスクの議論は、皮肉や企業ロビーだけでは退けられないと述べた
恐怖の言説とオープンソースAIの緊張
- ChatGPTの登場以降、AI業界の主要人物たちの対外的影響力は大きくなり、LeCunは一部の創業者が自分たちの売る技術に対する 恐怖を増幅させることに多くの時間を費やしてきた と見ている
- 2023年3月、Elon Musk、Altman、Hassabis、Amodeiなど1,000人以上のテックリーダーが、AI開発を少なくとも6か月停止しようという公開書簡 に署名した
- 書簡は、仮想的なAIシステムが「社会と人類に深刻なリスク」をもたらしうると警告した
- 署名者の一人であるTegmarkは、AI開発を「suicide race」と表現した
- LeCunや他の批判者たちは、こうした警告が権力を固定化し、AIの差し迫ったリスクを見えにくくする可能性があると見ている
- Distributed AI Research Instituteは、労働者搾取とデータ窃取を現実のリスクとして挙げ、その利益が「少数の主体」に帰着すると見ている
- LeCunは、人々が「hard take-off」という神話のせいで AIリスクに過剰反応している と見ている
- hard take-offとは、超知能システムを起動した瞬間に人類が終わるという考え方である
- LeCunは、新技術は広く配布される前に、実際には秩序だった開発プロセスを経ると見ている
核心の争点はAIがどう開発されるか
- LeCunにとって、いま注目すべき点はAIの性能そのものより 開発のされ方 である
- AI開発が非公開の営利企業の内部に閉じ込められ、成果物が公開されない状況を危険視している
- AIオープンソースコミュニティ が消えていく状況も懸念している
- Metaは、GPTと競合する大規模言語モデル LLaMa 2 をある程度オープンソースとして公開している
- より広い技術コミュニティがモデル内部を調べられるようにする意図だ
- 他のビッグテック企業は同様のオープンソース公開を行っておらず、OpenAIには オープンソースAIモデルの公開を検討しているという噂 がある
- LeCunは、オープンソースAIが規制によって消えれば、米国西海岸と中国の少数企業がAIプラットフォームと人々の デジタル環境全体 を支配することになると見ている
- この状況は、民主主義と文化的多様性に関する問いにつながる
1件のコメント
Hacker News のコメント
Archive.is キャッシュ: https://archive.is/HbRLy
既存の強者たちが X-Risk や突然の人類絶滅といった誇張された主張を利用し、規制の虜によって権力を握ろうとするやり方は、これまでテック業界で見てきた中でも最もシニカルな策略の一つに見える
オープンソースは私たちが持つ最大の贈り物の一つなのに、ばかげたライセンスや報告義務で AI を閉じ込めようとする動きは理にかなわない
悪意ある、あるいは濫用的なソフトウェア利用は、既存の法律でもすでに対処できる
https://twitter.com/ESYudkowsky/status/1719777049576128542
「停止」とはライセンスや報告義務ではなく、文字どおり止めようという意味だ
Sam Altman は Yudkowsky と何度も話しており、低出力モデルでアラインメント問題を解くのが最善だと考えて、まずモデルを作り、その後で進行速度を落とそうとしているように見える
成功確率が高そうには見えないが、今のところそれよりずっと良い選択肢があるようにも見えない
一方でこの技術には、一部の人間が他の人間に対してより大きな権力を持つようになるという現実的で差し迫ったリスクがある
絶滅リスク側が提案する攻撃は、むしろその差し迫ったリスクを悪化させる。どんな技術であれ、一部の人が他者を支配するために使えないようにする唯一の方法は、誰もがアクセスできるように民主化することだけだった
アクセスを制限すれば、たとえ法律を破る必要があるとしても、アクセス権を持つ側にさらに権力が蓄積される
95%信頼区間の下限を取っても、50〜100年後くらいだと見ている。合理的な人々がこの推定に同意しないことは分かっているが、率直な判断はそうだ
AI は誤りがないという扱いで、さらに悪化する可能性が高い
そのため EU の AI 規制には、基盤モデルの徹底した文書化と学習データの公開、社会スコアリングのような高リスク用途の禁止、AI による判断について人間が理解できる説明可能性、AI システムと相互作用していることを明確に表示する義務が含まれている
この陰謀は具体的にどう機能しているというのか？ Yoshua Bengio が買収されているという意味なのか？
ちなみに私は大手研究所で安全分野の仕事をしているが、あの支持者たちはそうではない
技術者の間にあるこの規制反対の空気には抵抗すべきだと思う
Yannに言うなら、今はAI研究を緩和し制御するための強い措置を全面的に支持している。関連企業に利害関係もなく、AIイベントが毎週何度も開かれていた建物に1年間住んでいたので無知でもない
人類が適切に慎重な実際の対応を議論している、ほぼ唯一の領域がここだ。このx-riskの議論とCovidへの素早い対応だけが、人類には自らを滅ぼさずにいられる能力があるという希望を与えてくれる
後になってAIのx-riskが100%根拠のないものだったと証明されても、同じことを言うつもりだ
人類は集団としてブレーキを踏む能力をほとんど示したことがなく、「自分たちにこれができるのか」を試すだけでも大きな価値がある。本当に必要なことで、歓迎すべきことだ
Silicon Valleyの富豪の一人を、他の誰よりも信頼すべき理由はない。なぜ彼が座って、私たちに何ができないかを決め、その一方で本人はさらに金持ちになるべきなのか。記事の核心もそこにある
彼らはそれを自分たちの知能増幅器として活用し、残りの人類には劣化版のアクセス権を貸し出しながら、さらに途方もなく裕福になれる
AIが一部の人々の予想どおり爆発的に発展するなら、私たちが今目撃しているかもしれない権力掌握の規模をきちんと受け止める必要がある
最もあり得そうな「foom」シナリオは、少数の人間が超知能を利用して生ける神になる場合だ。foom自体はかなり投機的だと思うが、このバージョンはあり得る。人間がすでにそのように振る舞うことは分かっており、AIについてはまだ自意識や独立性を語る段階ではないからだ
AIを心配する実際の科学者の大半がそれを望んでいるとは思わないが、規制体制ではそうなるだろう。適切な人々はいつでも望むことをしてよいとされ、規制は貧しく政治的コネのない人々に適用される
AIの発展は続き、ただ独占されるだけだ。何らかのfoomシナリオが可能なら、それは依然として起こるだろうし、それを作った特権層から受け継いだ途方もない特権の上に立って始まることになる
実際に「停止」が起きる可能性は0だ
しかし自分の分析能力とインターネットの匿名性のおかげで正直に言うと、完全な超知能AIを見てみたいという強烈な欲望が、客観的判断をひどく汚染している
これが実現するところをあまりにも見たいので、自分の脳の基本反応は「結果は気にせず、どれほど狂ったように格好いいかだけ考えよう」に近い
表向きにはこうは言わないが、本音はそうだ。特にAI開発を生涯の仕事にしてきた人々にとっては、エデンの園に到達しようと人生を捧げたのに、どうしてその果実を一口も食べずにいられるだろうか
AIもリスクの終着点は常に死かもしれないが、報酬ははるかに大きい。異常なほどリスク許容度の低い人々が、この議論に集まっているように見える
彼らは莫大なリソースを持つ人々であり、いつものように、より多くの富と権力を得ることに執着している
議論を操作して、現在の本当のリスクである自分たちから視線をそらし、想像上のリスクである「ターミネーターが来る」という方向へ焦点を移している
フィクションに出てくるターミネーターの大半は、政府や大企業の研究所で、まさにAltman一味のような者たちによって作られる。いつも、みすぼらしい反乱軍が億万長者の悪党や顔のない組織と戦う構図だった
AIから人類の未来を守りたいなら、既存の人間の強者たちに集中すべきだ。このシナリオの悪役は彼らであり、ずっとそうだった
「プロトタイプを作り、小規模で試験し、限定的に配布し、問題を直し、より安全にしてから広く配布する」という言い方は、問題となる技術が意図的に開発されたものだという前提に立っている
しかし、意図的に作られた技術から創発的に生じた特性である可能性もある
そうした創発的特性を呼ぶ名前はすでにある。「バグ」だ。Heartbleedを限定配布した人はいなかったし、SpectreやRowhammerも同じだった。私たちはその余波に対処しなければならず、まだ終わってもいない
技術の危険が普遍的に配布されるまで隠れていられないと、誰が断言できるのか
さらに、「We have no moat and neither does OpenAI」の論点を脇に置いてもそうだ。主要な利害関係者がどれほど慎重でも、技術が存在するようになれば、すぐにオープンソース版がほとんど安全性を考慮されないまま、あちこちに配布されるだろう
もともと作った人間たちはもはや利益を得ておらず、どの人間の意図とも整合しておらず、「電源を切る」こともできない
Yannはおそらく間違っていると思う
彼は「破滅論者」の論理を誠実に扱おうとしていない。同じ種類の同期した推論はYann自身やMetaの財務目標にも適用できるので、説得力のあるフレーミングではない
単なる罵倒ではない議論の試みでも、賢い人をたくさん知っているが彼らは大統領ではないとか、自分の猫もかなり賢いが自分を支配してはいない、といった例を挙げる。知能が常に支配を意味するわけではないという示唆だが、リスクを真剣に扱っていないことのかなり良い証拠だ
リスクは、賢い人間と愚かな人間のあいだの知能差ではない。議会にチンパンジーは何匹いるのか？ 予備選挙には？ まったくいない
AGIの実存的リスクにおける能力差はそれよりはるかに大きく、基本的にはるかにアラインされていない
権力を持つ他の人たちがYannに説得されていないのは幸いだ
これまで理解できる唯一の提案はFEP方面だ。誰かがAIに自己生成メカニズムを設定すると、そのAIは人間ではなく自分の生存可能性を高める行動を取りうる、というものだ
だが大手事業者がここにリソースを投じるインセンティブはなさそうなので、可能性は高く見えない。何を見落としているのだろうか？
Eliezerの終末シナリオには同意しないが、提起されたリスクを議論せず、大衆の恐怖をあおることや権力掌握への恐れに迎合する科学者に説得されるのは難しい
AI研究者の中に熟練した政治家がいれば例外だが、そういう人はいなさそうだ
各国には、ほかのどの集団よりもはるかに危険な集団がある。彼らは数十億から数千億ドルの「収入」を持ち、その金をひたすら人を殺し、政府を破壊し、ある国が別の国に自国の意思を強制する新しい方法を見つけるために使っている。法的免責も完全だ
そしてこの集団こそ、私たちが公にどんな規則や条約を採用しようと、「制限された」AIモデルに無制限の、そしておそらく独占的な最先端アクセスまで持つことになる集団だ
では、いったい誰から私を守るというのか？ 隣人？ 街の犯罪者？ ソシオパスやその集団？
つまようじ数本と歯磨き粉のチューブで大量破壊兵器を作る秘密の妙手があるわけでもないし、Web検索や図書館検索で既に広く入手できる「妙手」以上のものでもない
制限されたシナリオでは、終末型シナリオへ私たちを押しやる可能性が圧倒的に高い集団が、AI型システムへの完全に無制限なアクセスを維持する。社会を守るという論理は完全に冷笑的で馬鹿げている
著名なAI研究者にAI Godfatherというラベルを貼るのはやめてほしい。あまりに滑稽で、事実とも大きく合っていない
AIの概念はTuringの時代からあり、「AIの父」のような称号を受ける人がいるなら、彼のほうがふさわしい
LeCunはMetaのChief AI Scientistと言えば十分だ
「AI godfather」という表現は十分に妥当だ
著名なAI研究者が著名だと見なされる理由は、AIに関係する潮流に影響を与えたからではないのか？
オープンソースモデルを違法化しようとすれば、AIをテロの道具として使おうとする周辺勢力には、競争がほとんどなく、対処方法に関する知識も非常に少ない環境が与えられる
この道具が誤用されれば、人を殺し得た歴史上の他の道具より悪くなりうるとはあまり信じていないが、単に地下に追いやったからといって消えるわけではない
知的好奇心のある普通の人たちだけが刑務所に入り、犯罪者はそれを続けて私たちを搾取するだけだ
大規模言語モデルが新たな優位性を与えるわけでもないし、AutoGPTと一緒に「キラーボット」の軍隊を作って「破壊」を引き起こすような魔法もない
今は映画から出てきた話を繰り返す人たちの論点を、そのまま反復しているに近い
AI開発を止めるために必要な措置を気に入らないかもしれないが、止めることはできる
人々は今ではあまりにも一般的になった大規模言語モデルや拡散モデルに注目しているが、株式選択や予測用のAIが本当に次元違いになり、既存モデルを一貫して上回るようになれば、莫大な富を吸い上げることになるだろう。
運営者が短期的な欲をかきすぎてシステムを一夜で崩壊させたりしなければ、事実上、社会を所有することになるかもしれない。
市場の興味深い点は、通常、価格が誤って付けられているときにしか利益を得られないことにある。そのため、完全な情報を持つ行為者であっても、潜在的な総利益には限界がある。
企業の将来キャッシュフローと将来金利をほぼ確実に予測するAIモデルがあったとしても、割引キャッシュフローを計算して、現在または将来の公正株価を容易に決められる。
市場は崩壊するというより、より安定し、株式は債券に近い動きを示す可能性が高い。
物理学の制約を受けるアルゴリズム情報理論は「強い急加速」シナリオをあまり許容しない、という点がそのシナリオへの強い反論の一つである。
https://en.wikipedia.org/wiki/Algorithmic_information_theory
過去の金融データから予測できる範囲には限界がある。
機械学習で金のなる木を作る方法があったなら、とっくに実現していたはずだ。
言語や画像生成よりもはるかに簡単な問題空間である。
人々は思考しないアルゴリズムに執着するが、本当に物事が起きるのは常に人間同士の間だ。ソフトウェアのアルゴリズムがどれほど精巧でも、人間のチェス盤の上の駒にすぎない。
はるか遠い未来には、シリコン生命体が自らの条件でそのチェス盤に入ってくるかもしれない。その遠い可能性を利用して、今ここで利益を得ようとする戦略は奇妙だ。
ところが、その戦略はうまくいっているように見える。根拠が薄くても話がうまければだまされる、低知能のレミングの群れに私たちが近いことを示している。
大規模言語モデルを独占するには、すでに遅すぎる。作る技術は知られており、コストは下がり続けている。
心配すべきことはあるが、これはその一つには見えない。
GPU価格はマイニング全盛期ほど高くはないが、A100の束を買うには車1台分の金が必要だ。しかもGoogleのようなところは次世代の機械学習アクセラレータを作っており、最高の製品はそもそも販売すらしていない。
計算資源は問題の半分にすぎない。メール、スマートアシスタントへの問い合わせ、Ringのドアベルのような形でのデータアクセス権こそ、はるかに過小評価されている残り半分だ。
学習実行とデータセンターを政府に報告しなければならない基準として、かなり小さなカットオフ規模が設定されつつある。
また、x-riskとCBRNリスクのテストフレームワーク、セキュリティ環境を開発するよう命じられており、これは民間部門を含むモデル開発者への要件として課すためのものだ。
大規模言語モデルを開発するのに必要な知識はオープンソースなので誰でもアクセスできる、と言うことはできるし、実際にも完全ではないが概ね正しい。
しかし連邦政府は現在、特定の人々だけが合法的にそれを行えるようにする過程にある。
コンシューマー向けハードウェアだけで最先端モデルを学習するのは、非常に難しいかもしれない。
OpenAIはAmazonや資金潤沢なユニコーンが後に続くのを防ぐため、大規模言語モデルを規制の虜にしようとしている。こうしたプレイヤーが固定化されれば、取り残された人々は終わりだ。
平均的なHN読者はOpenAIと競争できない。彼らはベンチャー資金を十分に持つ競合がこれ以上現れないようにして、パイをできるだけ多く取ろうとしているのだ。
大規模言語モデルをめぐる過熱と資金調達のサイクルは概ね終わった。あなたはAnthropicではないし、このゲームに参入するにはおそらく遅すぎる。
重要なのはハンマーではなく、建築許可だ。
一部の思索家は、私たちは豊かさの時代に入り、お金ははるかに重要でなくなるか、まったく重要でなくなると言う。
しかしそうだとすれば、企業は現在の「利益がすべて」の状態から「お金は重要ではない」へ、どう移行するのか？
私はむしろ独占化される可能性の方がはるかに高いと思う。
それでもなお、子どもに食べさせられない人、過労で死ぬ人、土地をめぐって互いに殺し合う人々がいる。
人類が現在の形で存続し、消費選好が安定しているという前提での話だ。資本主義モデルそのものについては確信が薄いが、それも存在し続ける可能性はある。もしかすると、単なる楽しみのためであっても。
https://en.wikipedia.org/wiki/Virtual_economy