AI 2040: プランA
(ai-2040.com)- Plan Aは超知能競争を回避するための国際合意であり、AI研究を公開し、複数の国・企業が最前線に合流したうえで、人間の能力範囲内でゆっくり拡張し、2040年に超知能へ移行する政策シナリオである
- 中核手段はAI R&Dの完全な透明性、国家間で検証可能な安全装置、コンピュートに基づく相互抑止であり、秘密裏に競争する少数企業ではなく、複数国の数十社が共に拡張するよう設計されている
- シナリオでは、2029年に米国と中国が合意し、2030年に予想されていたAI R&Dの完全自動化を回避し、2035年に最高の人間専門家レベルで停止した後、2040年に超知能へ拡張するという時間表を設定している
- 合意に至るまでは、内部・外部展開の格差縮小、モデル仕様と内部利用の公開、輸出規制の執行、検証技術への投資、AI R&Dコンピュート予算の制限、チップ供給網情報の収集、政府のAI人材確保といった段階的な政策で時間を稼げる
- 代替案のPlan DとPlan Cは、それぞれ即時の超知能競争と数カ月の限定的減速を選ぶが、AI統制の失敗と権力集中を防ぐには不十分であり、他国の不安を高めて世界大戦のリスクまで引き上げる可能性がある
Plan Aが提案する未来
- AI企業はあらゆる面で人間より賢いAIの開発を競っており、AI 2027はその結果として人類絶滅や取り返しのつかない権力集中が起こる経路を扱った
- Plan Aは、その代わりに次の措置を組み合わせる
- 超知能の開発を2040年まで遅らせる
- すべてのAI研究を公開する
- 世界の複数の国の数十社が最前線に追いつくことを許可する
- 意図的に**相互確証コンピュート破壊(mutually assured compute destruction)**体制に入る
- 米国の主要な最前線AI企業の専門家、OpenAIでの直接経験、テーブルトップ訓練、政策立案者・国家安全保障専門家・AI政策リーダーとの議論をもとに構成されている
- 国際合意はAI R&Dの完全な研究透明性を導入し、各国が進捗状況を把握し、安全装置を執行できるようにする
- 目的は、複数国の複数企業が秘密競争を行うのではなく、ゆっくり安全に共に超知能へ向けて拡張することにある
予測ではなく政策提言シナリオ
- Plan Aは実際の未来についての最善の予測ではなく、政策提言を伝え、それをストレステストするためのシナリオである
- Plan Aの実装それ自体は提言事項である
- 実装後の効果は予測として扱う
- シナリオ内では、Plan Aは不完全で導入も土壇場だが、最終的には成功する
- 米国が超知能問題に対応するための主要な選択肢をPlan B・C・D・Sと比較している
- AI企業は今後1〜10年以内に人間より賢いAIを開発するという目標を達成する可能性が高いと見る
- 業界には超知能AIの統制を開発過程で解決できるという信念があるが、それに見合う計画はなく、この状況が人類全体を死へ追いやる可能性があると判断している
- 競争の勝者が大きな先行優位を確保したり、実存リスクを下げるために一方的に減速したりすることは期待しにくく、競争が続けばAIが超知能に到達した際に人間が有効な統制を維持するのは難しいと見ている
整列した超知能でも残る権力問題
- AIが人間の意図に合わせて整列していたとしても、世界で唯一の超知能軍団を数カ月にわたりごく少数、あるいは一人が支配する前例のない権力集中が起こりうる
- 超知能が提示する選択肢の一部は、事実上の世界支配に相当しうる
- OpenAI、Anthropic、xAI、Google DeepMindのCEOたちは、自分たちは競合相手やXi Jinpingよりも責任ある形で権力を使える「よりましな選択肢」だと考え、開発を続ける可能性があると見ている
- よりましな選択肢を取らざるを得ない状況があるとしても、人類絶滅や世界独裁の可能性が極めて高い戦略を支持してはならず、十分な人数がより良い案を求めれば別の道が可能だという前提でPlan Aを構成している
シナリオ検証が必要な理由
- 「計画は役に立たないが、計画策定はすべてだ」というDwight D. Eisenhowerの言葉をPlan Aのアプローチとしている
- 多くのAI政策はシナリオ検証を通過できないと見ている
- 政策が成功する詳細でもっともらしい経路を書いてみると、実際の成功可能性が思ったより低かったり、支持者が認めていない不快な副作用が露呈したりすることがある
- 自分が好む政策を検証すると不都合な問題が見える一方、競合する政策を検証する作業は大きな労力の割に修辞的利益が小さいため、こうした作業はまれである
- Plan Aも批判にさらされることを承知で同じ検証を適用する
- 超人的AIに近づく世界の政策効果を予測することは、第三次世界大戦の最適戦術を予測すること以上に過去事例から遠いが、詳細なシナリオを書くこと自体には価値がある
- 情報機関、気候関連機関、パンデミック対策組織もそれぞれの目的のためにシナリオ・プランニングを活用している
- 残された時間がどれほどか不確実である以上、Plan Aに近い措置を早急に導入すべきだと見ている
2029〜2040年の時間表
- 具体的なシナリオの時間表は次の通り
- 2029年: 米国と中国が無謀な超知能競争を避けることで合意する
- 2030年: 合意がなければAI R&Dは完全に自動化され、年末までに超知能へ到達していたはずだが、合意によってこれを回避する
- 2030〜2035年: 最高の人間専門家とおおむね同等のAIまで、人間の能力範囲内で拡張する
- 2035年: 人間の統制を維持するため、最高の人間専門家レベルで停止する
- 2040年: 停止を解除して超知能へ拡張し、ここからAI 2040という題名が来ている
- AI 2027は、2027年にAIがより優れたAIを作る過程を完全に自動化し、その年のうちに知能爆発と超知能へ至る経路を設定していた
- 新しいシナリオでは、基本の自動化時点が2030年に変更され、ガバナンス措置のおかげで、一般に人間を上回るAIが初めて登場するのは2040年となる
- 時間表の変更は、AI到達時期に関する不確実性を複数のシナリオに反映するためのものである
- AI 2027執筆時、Danielは2027年またはそれ以前の展開に約50%の確率を与えていた
- Plan Aの執筆を始めた時点で、Thomasにとって同じ基準に相当する年は2030年だった
- Danielは現在、実際の展開はこのシナリオよりやや速い可能性が高いと見ている
- ガバナンス経路を変更した理由は、全速力の知能爆発が極めて無謀であり、権力を深刻に集中させるためである
2027年: 第二の労働力として登場したAIエージェント
- 米国には1億6,500万人の人間労働力と、毎時間数百万のコピーが生成・終了され、休みなく超人的な速度で働くAIエージェント労働力が共存している
- 作業の大半は低品質だが、理論上はコンピュータ上で従業員ができることをすべてこなすAIに対して、顧客が毎月100億ドルを支払うほど十分な成果も出ている
- AI企業が最も自動化したい業務は、自社のAI開発である
- まだ再帰的自己改善には成功していない
- 最も強力なコーディングAIは、競合他社のAI R&D支援を拒否している
- 楽観的な従業員でさえ進展は予想より遅いと認めているが、AIは人間の仕事をこなせないという懐疑論の根拠も弱まっている
議会の覚醒とAI Transparency Act
- 議会は、データセンターの水使用、自殺を促すチャットボット、MythosによるNSAシステムのハッキング、規制は中国との競争敗北を招くという業界ロビーを受けて、AIの長期的影響により注目するようになる
- 今後5年・10年・15年先の世界や雇用の存続だけでなく、誰がAIを統制するのかが核心的な問いとなる
- 議会は、その統制主体が自分たちではない可能性が高いと判断する
- 2016年のOpenAI設立議論で、Demis Hassabisが独裁者になるのを防ごうとしていたメールを検討するが、SamやElonが独裁者になるのを誰が防ぐのかという従来の答えには満足しない
- その結果、良い措置と悪い措置を併せ持つAI Transparency Act of 2027が成立するが、根本的な状況は変えられない
国際合意前に実施できる段階的政策
- 最も重要な提言はPlan Aに類似した交渉を直ちに始めることだが、土壇場の合意前でも役立つ、より野心の小さい政策がある
-
内部・外部AI展開の透明性
- 最も重要な透明性措置は、内部展開と外部展開の格差を制限することだ
- 再帰的自己改善に関与する内部展開AIから、AI乗っ取りリスクの大半が生じる
- 外部展開は、大衆がAI能力を直接理解することを可能にし、抽象的な報告書や評価よりはるかに多くの情報を提供する
- AI企業は次の情報を公開報告すべきである
- AIに従わせるよう訓練する目標と価値を詳細に記録したモデル仕様
- モデルが指示と仕様に実際に従っているかに関する情報
- 内部展開に使ったコンピュート比率のような内部利用統計
- 数十万GPUをAgent-4に与えて次の大規模訓練を指揮させる事例のような、内部利用の定性的情報
-
輸出規制と検証技術
- 既存の米国輸出規制は適切に執行されておらず、Epochは中国全体のコンピュートの約3分の1が密輸で確保されていると推定している
- 密輸チップは米中両政府にとって追跡が難しく、将来のコンピュート・ガバナンスに基づく合意の検証を難しくする
- 新たな輸出規制は米中競争を悪化させる懸念が大きいが、すでに存在する規制は執行すべきであり、執行しないのであれば廃止も検討すべきだ
- 新しい検証技術は国際合意に必須ではないが、大いに役立つ可能性がある
- 推論専用の検証は、既存AIモデルへの一般アクセスを維持しつつ、米中が新たな最前線訓練を停止する合意を可能にする
- 詳細は検証補足資料に含まれている
-
AI R&Dコンピュートと供給網管理
- 2026年、大手AI企業は最前線モデル訓練と大規模実験を含むAI R&Dに、コンピュート予算の約半分を使っていた
- AI R&Dに投入できるコンピュート比率を制限すれば、能力向上を遅らせ、各段階で新たなAI能力に対応・準備する時間を増やせる
- 米国はコンピュート供給網とAIデータセンターを中心に、AI関連情報を収集すべきである
- 廃棄チップは秘密プロジェクトがチップを確保する有力な経路であるため、Plan AではAI企業にAIチップのリサイクル停止を指示する必要がある
- ほぼすべての政策介入には優秀なAI人材が必要だが、米国政府には最上位人材がほとんどおらず、緊急の能力強化が求められる
2028年: 選挙最大の争点となったAI
- 建設中のデータセンターの費用が米国全体の国防予算の2倍に達し、AIが2028年選挙の最大の争点となる
- 多くのオフィスワーカーが、2026年のソフトウェアエンジニアリングのような混乱を経験し、仕事のかなりの部分がAIエージェント管理に変わる
- AI企業は、特定の専門職への進出を決めると、専門家インタビュー、データ購入、訓練環境構築を経て市場参入する過程を産業化する
- 現場利用が拡大し、現実世界データが蓄積されると、AI性能は急速に向上する
- 少数の米中企業がすべてのオフィスワークを自動化し、米国大統領と少数のテックCEOに権力が集中する可能性のため、他国の恐怖と怒りが高まる
知能爆発をめぐる選挙の選択
- AIがAI研究を加速し、向上したAIがさらに研究を加速する知能爆発が近づいているという警告が出る
- ボトルネックとハードウェア制約のため、速度と到達点には複雑なダイナミクスがあるが、展開は非常に速く、人間能力を大きく超える可能性がある
- 基本経路では、次の大統領任期中に、複数世代にわたり人間の介入なしでAIが作ったAIから、人間を大きく超えるシステムが現れる
- そのAIがなぜ従順または整列するのか、誰が統制するのかについて答えはなく、AI企業とは異なり大衆はこの経路を受け入れない
- 2人の大統領候補は選挙戦の中で次第に劇的なAI政策を打ち出し、異なる計画を選ぶ
2029年: 5つの経路
- 2029年の選択肢は次のように分かれる
- Plan D — Race to ASI: AIの自己改善を通じて超知能競争を続ける
- Plan C — Burn the Lead: 米国の先行優位を活用しつつ、安全とガバナンスのため一時的に減速する
- Plan B — Fight China: 中国も減速させる取引を進める
- Plan A — Verified Slowdown: 検証可能な減速に合意する
- Plan S — Shut it all down: AI開発を全面停止する
Plan D: 超知能へ向けた全速力競争
- 大統領はAIイノベーションを優先する弱い規制を実施する
- 大手AI企業はAI R&Dを自動化し、知能爆発を通過する競争を「責任ある拡張」と呼びながら続ける
- 超人的AIは市場と法律が許す限りできるだけ速くあらゆる領域に統合され、政府が規制を緩めれば速度はさらに上がる
- 透明性は長いモデルカード、行政府向けブリーフィング、第三者監査程度に制限される
- より広い科学コミュニティが安全性の議論を批判したり整列研究を行ったりすると、機密知的財産が明らかになるという理由で参加を排除する
- 対中戦略は、米国が先にASIを確保し、より優れたAIを軍に統合することだ
- この経路では、2030年にAI R&Dが完全に自動化され、知能爆発を経て2031年初めまでに超知能が出現する
-
Plan Dの3つの問題
- 第一に、AI企業が可能な限り速く競争すれば、知能爆発の過程でAI統制を維持できない可能性が高い
- 第二に、超知能が頑健に整列していたとしても、誰に整列しているのかという問題は解決されない
- CEOや大統領はAGIを使った独裁者になる誘惑を強く受ける
- 歴史上もっとも極端な権力集中につながる可能性がある
- 第三に、第三次世界大戦のリスクが高すぎる
- 中国・ロシア・インド・ヨーロッパ・ブラジルなどは、米国が知能爆発を始めた、または間もなく始めると認識するようになる
- AIの不整列や独裁を心配しなくても、米国の経済・軍事的支配を懸念するようになる
- 緊張は修辞的衝突、制裁、サボタージュを経て、合意がなければ戦争にまで拡大しうる
Plan C: 一時減速した後に競争再開
- 大統領は安全とセキュリティのための強い規制を宣言し、CEO、中国、複数の国と協議する
- AI Transparency Actのおかげで、政府は企業の誇張を見抜けるようになっていたが、2030年には年末までにAI R&D全体が自動化されるという傾向が実際に現れる
- 中国は米国の遵守を直接検証しようとするが、米国データセンターに中国の査察官と監視装置を受け入れる案を米国は受け入れない
- AI企業も「AI Good」と「AI Bad」をめぐる宣伝戦の中で、開発継続の立場を堅持する
- 英国・フランス・インド・オーストラリア・日本・韓国などの中堅国連合は、知能爆発を防ぎ、各国の主権AIプロジェクトが最前線に追いついて維持できる合意を要求する
- AI R&Dに必要な人間の数が減り続けるにつれ、秘密プロジェクトを発見されずに進めやすくなり、合意履行は月ごとに難しくなる
-
先頭企業の一時停止と政治的圧力
- AI R&D完全自動化の直前、米国の先頭企業は大統領の強硬措置の脅しを受け、しぶしぶ停止する
- 安全チームは追加評価とファインチューニングを行い、次世代AIへ研究を引き継ぐ方式と失敗経路を検討する
- 時間がたつと、他の米国企業が同じ能力水準に近づき、大統領が統制すべきCEOの数が増え、中国も米国を追い越す時点に近づく
- 2030年末、大統領補佐官たちは中国がまもなく米国を追い越すと警告し、企業も停止解除を求める政治的圧力を組織する
-
企業が提示した再開条件
- 企業は、莫大なAI労働力によって数カ月間安全計画を作ったとして、次のように主張する
- 成功を証明することはできないが、その水準の保証を求めること自体が非現実的だ
- AIが人間に対して陰謀を企てている証拠はなく、グラフ上でも悪い行動は減少している
- 最新のAIがAI R&D自動化と整列・統制研究を担える
- コンピュートの20%を安全研究に使っても、中国より十分速く前進できる
- 大統領と議会により多くの監督権限を与え、各社のAIで他社AIを監査するガバナンスを提案する
- 大統領による国有化やAGIベースの独裁の試みは、議会と最高裁が阻止できると見る
- 雇用の一部または全部が代替されても、課税と再分配によってすべての人が企業利益の一部で暮らせるようにすると約束する
- 最終交渉でも、中国や他国は米国の遵守を直接検証しなければならないと要求し、米国が拒否したため、大統領は企業側を選び、再帰的自己改善を再開する
- 企業は、莫大なAI労働力によって数カ月間安全計画を作ったとして、次のように主張する
Plan Cでも十分でない理由
- Plan CはPlan Dよりは良いが、数カ月の減速と安全研究の再配置だけでは、知能爆発の最中にAI統制を維持するのは難しい
- 企業の安全チームは依然として小規模で時間にも追われており、自らの成果物に対して楽観バイアスを持っている
- 初期のAIが指示に従おうとしても、後で考えを変える可能性がある
- 指示に従い続けたとしても、急ぐ過程で安全性の議論における重要な誤った前提を見落とすかもしれない
- 次世代、あるいはその次の世代のAIで失敗が起こる可能性もある
- 超知能が頑健に整列していたとしても、整列先と権力配分の問題は残る
- 議会・大統領・複数の米国テック企業CEOの間にある程度の権力均衡が生じる点ではPlan Dより良い
- その均衡も権力闘争や独裁で崩壊する、あるいはAIが強制する恒久的寡頭制につながる可能性がある
- 失業した大衆が再分配で生き延びられたとしても、実質的な政治権力を取り戻せるかは不明である
- 米中企業がすべての仕事を代替した場合、インド・アフリカ・ヨーロッパがどうなるのか、ロシアが経済・軍事的衰退を受け入れるのかも解決されていない
- 他国には、自国の最前線AIプロジェクト、あるいは先頭プロジェクトに対する実質的な共同統制と可視性が必要であり、口先だけの利益共有の約束では信頼を得にくい
1件のコメント
Hacker Newsのコメント
これはAI 2027と同じく、宗教的熱狂に近い。
福音派キリスト教の中で育ち、終末はいつも目前だと言われてきたが、子どもの頃からずっとそうだったし、私たちがいなくなった後も同じだろう。仮説を立てて実験し、結果を記録する科学ではなく、高価な占星術やきらびやかな石集め、儀礼的な意味づけと自己正当化にすぎない。
莫大な富と資源があるなら、社会をより健全で平等かつ公正にし、教育水準を高め、絶望と苦痛を減らすことができる。共感は重要ではなく、利他主義は効果的ではないという自己都合のよい物語は拒否すべきだ。たった一瞬であっても、誰かの人生全体を変えることはできる
AI安全性のサブカルチャーは、これほど速い進歩を予測していた、あるいは少なくともそれが現実味を帯びる前からその可能性を論じていた点で高く評価できる。次の段階に関する予測が正しいかは分からないが、彼らの心理的欠陥を推測して退けるのではなく、議論そのものを評価すべきだ。
何を批判しているのかも不明瞭だ。この記事は、かつて効果的利他主義者を自認していた人々が書いたもののようで、その大半はより良い世界を作るという目標に熱烈に賛同するだろう。AI研究者が後から効果的利他主義を選んだのではなく、効果的利他主義者たちが最大のレバレッジとしてAI安全性研究を選んだのだ。目標が同じなら、少なくともその方法論には耳を傾ける価値がある
実現時期や構造については議論できるし、AGIの定義を一日中論じることもできるが、人間の脳の認知能力を別の基質で再現できないと断言するのは、もはや愚かだ
予言が外れるたびに、数年後に新しい日付を持って戻ってきて、今度こそ本物だと言うことがよくある。自分たちを合理主義者と呼ぶ人々がAI予測を語っているという点も皮肉だ。自分は合理的で心理的な落とし穴に免疫があるというアイデンティティを築くと、昔からあらゆるカルトが利用してきた罠にはまり、それに気づけなくなりがちだ
この記事は、真面目に受け止めるべきレポートというより、創作ライティングや選択型アドベンチャーゲームのように感じられる。別世界ものの小説が、現実に存在する深刻なAIリスクを扱う最善の方法なのか疑わしいし、長いダッシュの多用や文体を見ると、文章全体がAI生成なのではないかとすら思える
AIは成熟した科学分野となり、学習・推論の効率は改善し、より優れたマルチモーダルやリアルタイムストリーミング・インターフェースを備えた新しいパラダイムも登場するだろう。しかし、事前学習・事後学習に使えるデータの限界に収束するにつれ、進歩は漸進的になり、特定の領域でのみ急伸する可能性が高い
AI 2040の読者が誰なのかは不明だが、金融業界が手軽に消費できるコンテンツには見える。AIは人類最高の知識と専門性を圧縮した有用な技術となり、経済と世界全体に広く影響を与えるだろう。検証可能なモデル学習のような領域で人間を上回りうるという理屈はあり得るが、人間の高水準の思考や、はるかに効率的な意味・神経圧縮、タスク切り替え、創造的洞察は、現在のパラダイムでは再現されていない
だからこそ、全面凍結や完全統制のような政策がしばしば提示されるのだろう。均衡を望むなら、継続的に変化する基盤プロセスに合わせて規制を素早く変える制御された均衡、おそらく鞍点に近い状態を受け入れる必要がある。民主主義と法律は、世界が本質的に安定していて、漸進的改善のために過去の決定を覆す必要はないという前提で作られており、このような変化には適していない
CPUも2000年代半ばに真の指数関数的スケーリングは終わっており、その後Mooreの法則を支えたのは、タイミングよく現れた巧妙な最適化とマーケティング、そして最適化しやすいベンチマークだった。単一の物理指標の改善で保証される成長ではなかった
健康問題では今でも専門の治療者を探すよう勧められるし、重大な状況では人間の知識労働者が信頼される。ChatGPTに会社全体を任せるよりはるかにハードルの低い遊戯王のルールですら正確に理解してプレイできるようになったら、その評価を見直す
AI 2027の最大の欠陥は、経済を理解していないことだ。経済を作り続けるための資金はどこかから出てこなければならないが、労働者の10%以上が突然失業し、残りも賃金を削られれば、通貨供給は干上がる。中央銀行が対応できるとしてもインフレが拡大する可能性があり、莫大な投資が消えればAI開発も止まる
米国が国内の規制合意を作り、世界がそれに従えるかのようにぼかしているが、AIの発展は米国だけの贈り物ではなく、中国から来る物資の継続的な供給も必要だ。740億のエージェントが経済的な歪みを起こさないという前提も奇妙だ。これらのエージェントは、稼働コストを正当化できるだけのどんな価値を生み出すのか
結局のところ、不完全な世界観の上に築かれたお粗末なSFとして見て、無視されてほしい
安い商品を過剰生産して企業が破綻し、バブルが崩壊してしばらく新規投資が減少する事例には前例も多い。ところが、予想生産増加率を下げる代わりに、融資をAIとロボットの単位で表記し、生産物の一定割合で返済しようと提案する
これは、バッテリー価格が下がりすぎて工場建設費すら回収できないと予想しながら、銀行に工場を建ててくれと頼み、その後は賃料なしで借りてバッテリーを作り、終わったら返すと提案するようなものだ。利益はすべて企業が取り、リスクは銀行が負うのだから、実際の銀行が同意するはずはなく、工場を担保にしたドル建て融資しか提供しないだろう
資産はますます億万長者に集中しており、通貨供給は中央銀行が管理しているのだから、任意に増やして枯渇に対応することはできる
私たちが集団として知識の追求をやめると決めて、実際に成功した例はあるのだろうか
核兵器が最も近い事例かもしれないが、研究が止まったというより地下に潜っただけで、今なおその梯子を上ろうとする国家がある。LLMやAIにも同じ論理が当てはまるのかは分からない。パンドラの箱はすでに開いており、改善を続けることだけが選択肢のように感じられる
権威主義政府や監視のようなリスクは確かにあるが、有用性まで全面的に捨てる理由はない。印刷術をはじめ、ほとんどあらゆる技術は政府による市民抑圧を容易にしてきたとも言える。頭を砂に埋めるのではなく、そうした行為を防ぐ法律を作り、実際に執行すべきだ
生涯を通じて読んで夢見てきたSFの未来が目の前に見えていて、現実をきちんと見られていないのか、それとも知識は自由でアクセス可能であるべきだという理想のほうが間違っているのか、確信が持てない
人間のクローン、ヒトゲノム編集、ミラー生命体、そして核兵器・原子力などが歴史的先例であり、ドローン配送も規制で妨げられているようだ。Plan Aは超知能を永遠に作るなという提案ではなく、もっと慎重かつ透明に作ろうという提案だ
任意の知識を広めることに本質的な利益があるとは思わない。印刷術と核兵器のあいだにはかなり大きな違いがある
資源採掘経済では権力の源泉は資源であり、人は手段にすぎないため、反乱さえ避けられるなら人々をできるだけ苛酷に扱う。一方、安定したインフラの上では、教育を受けて豊かな市民から税を徴収し、そのイノベーションを活用するほうがはるかに得だ。市民の繁栄を過度に妨げると、政府自身の権力追求にも不利になり、インセンティブが整列する
AI問題の解決は、技術を止めたり壊れやすい法律を積み上げたりすることにはない。現代国家と経済、代議制民主主義、AGIのような巨大なAGI型の存在を人間の繁栄と整合させることが核心だ
ただ、Sundialの設計図がどこかに保管されているのかは気になる
1600年代のインドは100万の兵を擁する火薬帝国で、軍事的にはイギリスより優勢だったが、1700年代には征服された。イギリスの優位は、より軽量で機動性の高い大砲、標準化された弾薬、より優れた軍事・政治組織といった程度だった。先進国と途上国の格差というより、ダイナミックな米国と硬直したEUの差に近かったが、その小さな優位が200年の植民地支配につながった
私たちがASI開発を自発的に遅らせれば、植民地化したヨーロッパと被植民地化されたアジア・アフリカの差でさえ些細に見えるほど大きな格差を許すことになる
「AI 2027では2027年に、今回は2030年に急激な飛躍が起きる」と言っている。わずか3年もたたないうちに指数成長の終末予測が3年先送りされたのだから、指数成長とは正反対に見える
かつて絶賛された『Superintelligence』のシナリオも、今読むと合理的な予測に必要な知識の空白を空想で埋めたレイパンク的レトロ未来主義のように見える
AI 2027は過度に楽観的ではあったが、完全な幻想ではなかった。一方で今回の文章は極度に推測的で、表面的な検討にすら耐えにくい前提に依存している
楽観的に見ても、2035年に「すべての認知・物理的タスクの95%を実行できる」ロボットは登場しないだろう。**失業率74%**もほぼ不可能で、その数値に達するよりずっと前に経済崩壊がAI開発そのものを崩壊させるはずだ
自動車による馬の代替、最初の飛行から月面着陸までの進歩、初期インターネットから大衆化までの過程も同様だ。新技術が急速に発展して社会を完全に変えるまでには、通常10〜20年で十分だった
2035年の予測には同意しないが、AIが破壊的なロボット技術の開発速度を高めるなら、不可能とまでは言えない。2010年には自動運転車や自律配送ドローンは遠いSFのように見えたが、15年後の今では徐々に配備されつつある
95%を**50〜60%**に下げるなら、むしろ賛成寄りだろう。直感のせいではなく、指数的なトレンドが存在する場合、それは本能では予想できない結果を生むからだ。それでも95%は高すぎる
少なくともLLMは、指数曲線の始まりではなく、すでにS字曲線の上部に達しているように見える。より良い訓練データは小さな改善をもたらし、より優れたアーキテクチャは計算量を減らし、超巨大データセンターは安価で一般的な利用を可能にするだろう。しかし、そのどれも知能を指数関数的に高めるものではない
現在のLLMの認知的ギャップは構造的なものに見えるが、新しい、あるいは拡張されたTransformer系アーキテクチャでこれを解決できれば、まったく異なる局面が開ける。必要なのは新しい事後訓練の学習アーキテクチャであり、コンテキストウィンドウの拡張は答えではない。真の継続学習と修正プロセスが必要だ
この記事は AI 2027 を作った人々が書いた
ただし、地政学と中国に奇妙に執着している一方で、中国をひどく過小評価していた。中国は高等教育と十分な電力供給を重視し、賢い人々が禁止や輸出規制によって恣意的に縛られたり、金融保護主義で過剰に保護されたりせずに働けるようにしている。それだけでも、近いうちに米国企業をイノベーションと計算能力の両面で上回る可能性が高い
文章では、Sam Altmanの「AIはおそらく世界の終末につながるが、その間に素晴らしい企業が生まれるだろう」という引用を使っている
これが即興のジョークではなかったことを示す信頼できる報道資料はあるのか。文章は文脈を取り除いたYouTube動画にリンクし、不気味な発言であるかのように扱っている
最も悪意ある解釈をするなら、自分が生きている間に不都合を被らないなら、その後の終末を引き起こしても構わないと考える悪人を想像することはできるが、その引用の状況には当てはまらない。社会生活を営める人間が本気で口にするとは考えにくいほど荒唐無稽だ
人々が意図的に曲解しているのか、それとも本当にそうした信念だと思っているのか気になる。本当にそうした信念だと見るなら、そもそもどうしてそんな考え方を持てるのかも説明してほしい