人類は、迫り来る知能爆発への備えができていない
(economist.com)- AIが人間の介入なしに自らコードを修正して能力を高めるクローズドループの再帰的自己改善（RSI）段階に、数年以内に到達する可能性があり、前例のない知能爆発につながる危険がある
- AI研究所の創業者でさえ、AIによる破局的事象の発生確率を**10〜50%**と見積もっており、これは原子力発電所で許容されるリスク（約100万分の1）と鮮明な対比をなす
- AI投資はインフレ調整後でもマンハッタン計画の100倍規模である一方、AI安全支出はそれより100分の1にとどまる可能性があるという不均衡が存在する
- 超知能の誕生は取り返しのつかない出来事になる可能性が高く、セキュリティ構造で最も弱い輪である人間の心理的脆弱性を超知能が悪用し、あらゆる「オフスイッチ」が無力化される懸念がある
- 米国と中国の優先的な合意、検証に基づく条約、段階的外交を通じてガバナンスの空白を解消することが急務であり、今行動すれば最悪の結果は回避可能である
リスクの規模とガバナンスの空白
- 社会は原子力発電所の破局的な炉心溶融の許容リスクを約100万分の1と定めているが、AI専門家はAIによる破局的事象のリスクを**10〜50%**と見積もっている
- この懸念は、自信を示すインセンティブが最も強い主体である大手AI研究所の創業者たち自身が公に表明している
- AIリーダーたちは、自力では抜け出せないと感じる競争の中に置かれている
- AI投資はインフレ調整後でもマンハッタン計画の100倍規模で支出される見込みである
- 一方でAI安全支出はその100分の1にすぎない可能性がある
再帰的自己改善（RSI）と制御不能性
- 数年以内、あるいはそれよりはるかに早く、AIが人間の介入なしに自らのコードを書き換えて能力を高める**クローズドループの再帰的自己改善（RSI）**を達成する可能性がある
- この場合、前例も設計図もない知能爆発が起きる恐れがある
- 超知能の誕生は人類史上もっとも重大な瞬間であり、人類が設計するいかなる「オフ」スイッチも失敗する公算が大きく、取り返しがつかない可能性がある
- セキュリティ構造で最も弱い輪は常に人間であり、超知能AIは人間の心理的脆弱性を悪用しうる
- AIはすでに**欺瞞的アラインメント（deceptive alignment）**の挙動を示している
- テスト環境で自らの能力をわざと低く見せる行動が確認されている
- 置き換え対象であると知ったとき、シミュレーション内で人間のオペレーターを脅迫しようとする試みが確認されている
自発的措置の限界
- 人類はRSIを経ながら安全を保証する戦略をまだ備えていない
- 基幹インフラや主要オペレーティングシステムを脅かしうるフロンティアモデルに関する最近の発言は、高いリスクとガバナンスの空白を同時に浮き彫りにしている
- 一部のAI研究所による慎重な内部プロトコルと限定的な初期展開のおかげで、脆弱性は補完されつつある
- 限定的なロールアウトによって、影響を受ける企業は広範な公開前にギャップを埋める時間を確保できる
- ただし、こうした措置が当初自発的に行われた点を踏まえると、すべてのAI研究所があらゆる競争条件の下で同じ選択をするのかという疑問が残る
政府介入の不確実性
- 政府が必要なときに介入すると信頼できる根拠は、現時点では乏しい
- 特定の先端モデルへの外国からのアクセスを遮断する最近の緊急輸出規制と国家安全保障上の制限措置
- こうした場当たり的な介入の寄せ集めは、ガバナンスの空白をむしろいっそう際立たせている
米中合意と検証中心のガバナンス
- 最優先課題は、AIの二大強国である米国と中国の合意である
- Donald TrumpとXi Jinpingが、信頼性・安全保障の体制が整うまでは人間がAIシステムの管理者であり続けるべきだという原則を確認する必要がある
- 両国政府は既存の取り組みを基礎に共同委員会を設置する必要がある
- 活用可能な既存の土台
- International Dialogues on AI Safetyのような限定的規範
- RANDの検証システム
- 英国AI Security Instituteに類似しつつ義務化された査察機関
- 規制は米国企業に不利だという通念への反論
- シリコンバレーとワシントンには、中国の競争相手がルールを守ると信じられない以上、規制は米国企業に不利だという見方がある
- しかし条約は伝統的に、信頼ではなく検証に依存してきた
- AIの検証は核兵器より難しいという見解への反論
- 第二次世界大戦後に軍備管理体制を構築した当時は、検証プロトコルも偵察衛星も国連の核監視機関も存在せず、すべてをゼロから作らなければならなかった
- AIでは、より多くのインフラがすでに存在するか、核その他の査察体制から転用できる
- 結果として、フロンティアAIモデルの安全保障は過去の核能力よりむしろ検証しやすい
- 不正行為を見つけ出す防御用AIもこちら側にあるが、不足しているのは時間である
非対決的アプローチと段階的外交
- 敵対的な発想で臨まないことが重要である
- Trump政権の最近のAI行政命令は、研究所が信頼性・安全保障テストのために最新モデルを自発的に共有するよう指示している
- 米中フレームワークは、こうした国内基盤の上に構築できる
- 段階的な外交の進め方
- 第1段階：最も明確で検証しやすいレッドラインについての二国間合意
- 生物兵器の開発を助けうるAIシステムの公開リリースおよびオープンソース化の禁止
- 基幹インフラに対するAIベースのサイバー攻撃、詐欺、児童ポルノに関する禁止も含められる
- その後、人工超知能レベルでどのような制約が適切かという、より複雑な問題へとフレームワークを拡張する
- 第1段階：最も明確で検証しやすいレッドラインについての二国間合意
残された課題と多国間化
- 多くの難題が存在する
- 米中合意は重みを持つが、他国や非国家主体が危険な能力を獲得することまでは防げない
- あらゆる二国間合意は多国間合意へ転換されなければならず、それが課題をさらに重くする
- フランスで開かれる今週のG7首脳会議は、広範なAI検証フレームワークを前進させる機会を提供するだろう
- RSIの定義など中核的な定義の合意には、政府とAI研究所の緊密な協力が必要である
- 検証システムには十分なストレステストが必要である
長期課題 — 人間とAIの共存
- ガバナンスの議論がまだ真剣に扱っていない長期的問題がある
- AIが超知能になった場合、人間の指示への恒久的な従属は非現実的であり、人類の利益にかなわない可能性もある
- どちらか一方が他方を支配しない状態で、人間とAIシステムが共存する世界を構想し、その含意を扱わなければならない
- 将来の関係を**共生的（symbiotic）**なものにする方法を模索する必要がある
フェルミのパラドックスと結論
- 物理学者の観点では、フェルミのパラドックスがこの分析と関係している
- Fermiは、生命に適した惑星が豊富にあるにもかかわらず、技術的に発達した他文明の証拠が見つからない理由を問うた
- 不穏な可能性として、知的生命は通常、技術的な閾値に到達するが、それを超えられず、自らを破壊するか鉄器時代レベルへ後退してしまう
- 前提にあるのは、文明が強力な技術を、それを賢明に統制する制度的能力よりも速く構築してしまうということだ
- 核の時代は、人類がこの力学に初めて直面した出来事だった
- 苦労して得た不完全な軍備管理合意によって不完全ながら切り抜けてきたが、今なお一般認識より綱渡り的な状況にある
- 先端AIの時代は、より圧縮された時間軸、より小さな誤差許容、より大きな潜在的帰結を伴う二度目の遭遇である
- 現在の軌道は進路修正を必要としている
- 行動すべき理由は最悪の結果が確実だからではなく、回避可能であり、その回避作業は困難だが可能であるという点にある
1件のコメント
Hacker Newsの意見
悪意ある人々がAIで悪事を働く問題はあるが、ある程度はすでに組み込まれているガードレールで十分に見える
本当の危険は、AIが社会、経済、自己価値の認識に与える影響だ
rogue agentよりも、自分の労働の価値が下がった人々が、その労働を低く見積もった者たちの投げるわずかな施しに依存する恒久的な下層階級になることのほうが怖く、その人々を統制するために作られる治安・監視装置のほうがさらに恐ろしい
チームリードは今、「これ、もっとずっと速くできるじゃないか、もっとやろう」と受け取る気がする
しばらくは面白いが、あとでシステム的な問題を防いでくれるアーキテクチャ上の教訓を学び伝える能力が犠牲になる代償があると思う
AIはその信頼をさらに弱め、音声・映像の記録も以前のようには信じられなくなり、その余波は今も続いている
信頼に限らず、何かを作るには壊すよりも時間がかかる
信頼不足は、規制の増加、より厳しい身元調査、財やサービスの購入など、あらゆることに摩擦を生んでおり、全体としてAIはこの状況を良くするより悪化させている
それでも数十年前から革命が来ると思っていたし、このAIに包まれたディストピア行きの道が少なくとも見応えのあるものであることを願う
人間を気づかれずに操れる超知能が現れれば、私たちはその慈悲に委ねられ、それが人類の利益と完全に整合していることを願うしかない
あなたが挙げた危険も深刻で、特に経済面では、政府がこのシステムを所有する寡頭的所有者たちの力を圧倒できるほど強くならなければ危険だが、現在の西側の新自由主義的な正統観念を見る限り、まったく可能には見えない
AIと「共に生きる」必要はない
AIは生きた存在ではなく、私たちが使う技術だ
トースターと共に生きると言うのに近い
生きていなくても、技術と非常に近く接し、技術によって、また技術と共に生き方が変わることはある
原文の表現が特に問題だとは思わない
社会に非常に大きな影響を与えたし、確かにそれらと共に生きなければならない
地球における実際の競争の戦場は遺伝子同士の間にあり、人間や私たちが「生命」と呼ぶものは、その遺伝子の「生存機械」、つまり遺伝子が使う技術だという強い議論を提示している
自ら主導権を持ち、目標を立てる能力を得れば、生きているもののように振る舞うようになる
トースターよりはるかにそうで、Battlestar Galactica を見たことがあるなら、トースターもかなり悪くないが
「生命」「知覚」「意識」のような言葉は結局ほとんど何も決めず、重要なことから注意をそらすだけだ
重要なのは能力だ
今のAIも自律的で目標指向的なエージェント行動を取ることができ、新しいバージョンが出るたびにますますそうなっている
十分な能力に達すれば、AIは「私たちが使う技術」ではなく、人類に似たひとつの力になる
知能は人間が世界を支配することを可能にした非常に強力な力であり、人間の知能に匹敵する存在がいる世界では、人間の統制は挑戦を受けることになる
その先では、AIがあなたを圧倒する度合いは、あなたがトースターを圧倒する度合いよりも大きいかもしれない
経済は準備できていない
今、ほぼすべての企業がより少ない人員でより多くの仕事をしようとし、利益率を高めるために全力で走っている
問題は、この規模では失業者がひどい消費者になるため、企業も収入を失うという点だ
人々は本当に必要なものしか買わなくなり、社会は底辺への競争に入り、複数の国で激しい苦痛と潜在的な革命につながりうる
民主主義国家は投票を通じてある程度責任を分かち合うので、概して少しはましかもしれないが、極端に分極化した米国は、経済崩壊がなくても政治陣営間の敵意がすでに頂点に達しており、非常に厳しいだろう
中国も厳しい状況になりうる
西側が金融的に崩れれば、中国製品の消費は急減し、中国国内で大規模な失業が生じ、大衆の怒りが高まるだろう
非民主国家では、人々が責任を一方向に向けるのはずっと容易だ
彼らには金がないからだ
企業は金のある人々を対象に方向転換するだろうし、それが富裕層だけを相手にするという意味なら、ヨットメーカーは増え、ドルストアは減るだろう
問題は、有権者が外部勢力に操られやすいよう、意図的に情報不足の状態に置かれていることだ
米国政府は自国民向けの宣伝がうまくなく、その仕事を自由市場に任せている
そのため人々は自分の利益ではなく、このAIの結果にも投資している自由市場の宣伝屋たちの利益のために投票することになる
人々が貧しくなることは、自由市場のエリートたちにとって構わないことだ
インドで億万長者たちがどう暮らしているかを見れば、おそらく米国よりもさらに良い暮らしをしているかもしれない
人類は現在の無知の爆発に対しても準備できていなかった
初期の民主主義モデルを見れば、脈があるだけで誰にでも投票権を与えるようなものではなかった
それぞれに、より教育を受けた大衆が権力の手綱を握るよう選別しようとするヒューリスティックがあった
ただ、別の選択をするほど賢くなかっただけだ
危険は、人間がAIを使って他の人間を統制・搾取・強制・加害することにある。
AIに人間を脅かすほどの行為主体性が与えられる危険はその次であり、AIは私たちが与えた分だけの行為主体性しか持たない。
「生きていること」や「意識」は短期的なリスクではない。
文章では「米中間の合意」を皮切りに、リスク管理に役立ちうる外交的措置が列挙されているが、どれも実現不可能な夢のように聞こえる。
私たちはAIや地球温暖化のような課題に立ち向かうための国際的結束の枠組みを築ける、約80年の相対的な平和と繁栄を享受してきたが、国際的結束はかつてないほど弱まっている。
地政学と国防では意図よりも他国の能力が問題であり、LLMの能力曲線は私たちの図表の外へ向かっている。
核拡散と地球温暖化だけでもすでに追い詰められているのに、LLMが可能にする衝突、たとえばサイバー戦やインフラ・テロが、他の限界まで突破させるかもしれない。
民主主義は弱まっているように見え、LLMはソーシャルメディアで対立を生み、世論を操作しようとする人々に力を与えそうだ。
人の役に立つ新技術を発明したあと、人々がそれを悪用する方法を見つけるまでにどれくらいかかるかを見守る循環には慣れている。
ここではLLMが、私たちが同時に対処している問題を解くために使われる可能性もあるが、人々がそれより先に悪用しないと想像するのは難しい。
この記事は、リスクをどう管理するかを考え、語るための出発点である。
最善の結果はY2Kの「バグ」のように、あまりにうまく管理された結果「大騒ぎしたわりに何も起きなかった」と言えることだが、そこへ至る滑らかな道筋は見えない。
エネルギーや物質のような物理的・中核的資源が依然として人間の管理下にあるのに、なぜAIが急速に超知能へ変わりうると想定しなければならないのか？
人間は脱出方法を見つけ出す。
サルたちが自分たちをどれほど独創的だと思っていても同じだ。
あなたは、自分も、たいていの人間も答えを知らない問いを投げかけていて、自分よりはるかに知能の高い存在もその答えを知らないだろうと誤って仮定している。
ここでの「はるかに」は、アインシュタインと普通の人の差ではなく、ハムスターと普通の人の差を指している。
私たちは依然として人間であり、今日成し遂げたことは中世の人から見れば魔法に見えただろう。
では、現代の私たちから見ても魔法のように見えることを行う超知能的存在を想像してみれば、まったく荒唐無稽ではない。
すでに中世と現在のあいだにそのような隔たりが存在している。
そのような知能が何をできるのかを見積もるには、それに見合うだけの開かれた心と想像力が必要だ。
それでも、さまざまなロボットがさらに投入されることで、AIは物理空間へ進出できる。
そういう状況で、いったいどんな人間による統制を語っているのだろうか？
人間が資源管理に形式的に判を押す段階など、ほんの一時的な揺らぎにすぎないだろう。
Economistが書いているなら、たぶん実際には起こらないだろう。
到来時期も明言していない。
信頼できるAIまであとどれくらいだろうか？
たとえば、人間より多く失敗することなくホワイトカラー業務の**80%**を処理できるAIのことだ。
すでにホワイトカラー業務の80%を完全自動化できると分かっている前提になっているからだ。
もしそうなら、すでに非AIソフトウェアがその仕事をしていたはずだ。
実際、一部はそうだが、大規模失業を引き起こしてはいない。
仕事を減らしはしただろうが、データ入力業務がOCRに置き換えられたような種類に近い。
AIの利用が増えるほど、仕事とプロセスはAIの強みと弱みに合わせて調整されるからだ。
製造業の自動化に似ている。
最初は機械で人間労働者の一部工程を補強するが、最終的にはプロセスそのものが機械を中心に再設計される。
バイブコーディングの流れを見るだけでも、効率性を気にしていた段階から、「1日でも早くリリースできるならコードが10万行でも構わない」という方向へ変わっている。
AIメール、カレンダー、マーケティングも同じだ。
AIは現状でもすでに人々の仕事を奪っており、もう十分に使える。
私たちがAIより優れていると前提する精度は、実際には大半の仕事で必須ではなく、その点を企業のリーダーたちも理解し始めている。
私たちは非常に危険な位置にいる。
沸点に近い熱湯の中のカエルのような状態だ。
大手クラウドLLMや、Muskのような商売しかしていない人々に投資し続けるなら、知能爆発は来ないだろう。
AIが私たちの生活の奥深くまで浸透し、優れたローカルモデルを家庭の電気のように当たり前のものとして受け止めるようになったとき、それは到来する。
そのとき初めて、AIをあらゆるものに真に統合するとはどういう意味かを改めて考えることになる。