技術の思春期：強力なAIのリスクに立ち向かい、乗り越える — Dario Amodei

• 強力なAIが1〜2年以内に到来する可能性があり、これはノーベル賞受賞者を上回る知能を持つ数百万のAIインスタンスが**「データセンター内の天才国家」**を形成する水準を意味する
• AIがもたらす5つの中核的リスクは、自律性の喪失、破壊的な悪用、権力掌握、経済的衝撃、間接的影響に分類され、それぞれに対する具体的な防御戦略が提示される
• 人類はこれを扱うための制度的・倫理的成熟度をまだ備えていない可能性が高く、AIリスクの議論は終末論的な誇張を避け、不確実性の認識と精密な介入を原則とすべきである
• 終末論（Doomerism）と無条件の楽観論の両方を退け、証拠に基づく慎重で現実的なアプローチが必要であり、不確実性を認めつつも最善の計画を立てる必要がある
• 解決策として、Constitutional AI、機械的解釈可能性、透明性に関する立法、チップ輸出規制、民主主義国家の防衛強化を提示する
• 人類にはこの試練を乗り越える潜在力があるが、今すぐ真実を語り行動しなければ失敗する危険が大きい

---

序論：技術的思春期と人類の試練

• カール・セーガンの小説 Contact で、異星文明に「どうやって技術的思春期を自滅せずに生き延びたのか」と尋ねる場面は、現在のAI状況に非常によく当てはまる
• 人類はまもなく、ほとんど想像もできないほどの巨大な力を手にすることになり、社会的・政治的・技術的システムがそれを扱うだけの成熟を備えているかは極めて不確かである
• 以前のエッセイ Machines of Loving Grace ではAIの肯定的な潜在力を扱ったが、今回のエッセイではリスク要因を直視し、対応戦略を立てることに焦点を当てる
• 人類の精神と気高さに対する深い信頼はあるが、状況を直視し、幻想なしに向き合わなければならない

リスク議論の原則

• 終末論（Doomerism）の回避

  • 終末論とは、破滅が不可避だという信念だけでなく、AIリスクを疑似宗教的なやり方で考えることまで含む
  • 2023〜2024年にAIリスクへの懸念が頂点に達した際、最も非合理的な声がソーシャルメディアを通じて台頭し、宗教やSFを思わせる表現を用いた
  • 文化的分極化と膠着状態は予見され、実際に発生した
  • Anthropicは政治的流行とは無関係に、一貫して慎重かつ証拠に基づくアプローチを維持してきた
  • 2025〜2026年の現在、AIの機会が政治的判断を主導しているが、技術そのものは流行に従わず、2023年よりも現実のリスクに近づいた状態にある

• 不確実性の認識

  • AIが予想されたほど速く発展しない可能性もある
  • 議論されているリスクが実現しないかもしれず、あるいは考慮できていない別のリスクが存在する可能性もある
  • 完全な確信をもって未来を予測することはできないが、最善を尽くして計画を立てるべきである

• 最小限の外科的介入

  • AIリスクへの対応には、企業の自発的措置と政府の強制的措置の両方が必要である
  • 政府介入は経済的価値を破壊したり、懐疑的な主体に行動を強いたりしうるため、慎重であるべきである
  • 規制が逆効果となったり問題を悪化させたりすることは珍しくなく、とくに急速に変化する技術ではそうである
  • チップ輸出規制は、単純でありながら効果的な規制の好例である
  • 現時点では限定的なルールを支持しつつ、より強力な措置が必要であることを示す証拠を集めるべきである

強力なAIの定義

• Machines of Loving Grace で定義した強力なAIの特性：
  • 生物学、プログラミング、数学、工学、執筆など、関連するほとんどの分野でノーベル賞受賞者を上回る純粋知能を持つ
  • テキスト、音声、動画、マウス／キーボード操作、インターネットアクセスなど、仮想的に働く人間が使うあらゆるインターフェースにアクセス可能である
  • 受動的な質問応答ではなく、数時間から数週間かかる自律的な作業遂行が可能である
  • 物理的実体は持たないが、既存のロボットや実験装置をコンピュータで制御できる
  • 訓練に使われた資源で数百万のインスタンスを実行できる（2027年頃に予想されるクラスター規模）
  • 人間の速度の10〜100倍で情報を吸収し、行動を生成できる
  • 数百万のコピーが独立して動作することも、人間のように協働することもできる
• これを要約すると**「データセンター内の天才国家」**である

AI進歩の速度に関する見通し

• Anthropicの共同創業者たちは、AIシステムのスケーリング則を最初に文書化し、追跡した
• 計算資源と訓練作業を増やすほど、AIシステムは測定可能なほぼあらゆる認知能力で予測可能に向上する
• 世論は「壁にぶつかった」と「ゲームチェンジャーとなるブレークスルー」の間で揺れ動くが、実際にはなめらかで継続的な認知能力の向上が進行している
• 現在のAIモデルは未解決の数学問題の解決に着手し始めており、最高水準のエンジニアたちがほぼすべてのコーディングをAIに任せるほどになっている
• わずか3年前まで、AIは小学校レベルの算数問題に苦戦し、1行のコードを書くことさえ難しかった
• 指数関数的進歩が続くなら（10年にわたる実績がそれを裏づけている）、数年以内にAIはほぼあらゆる面で人間を上回るほかない
• AIはAnthropicのコードのかなりの部分を書いており、次世代AIの開発を加速させるフィードバックループを形成している
• このループは、現世代のAIが自律的に次世代を構築する時点まで1〜2年しか離れていない可能性がある
• METRは最近、Opus 4.5が人間4時間分の作業を50%の信頼度で実行できると評価した

「データセンター内の天才国家」シナリオ

• 2027年ごろ、5,000万人の天才が突然世界のどこかに現れると想像してほしい
• 彼らはあらゆるノーベル賞受賞者、政治家、技術者よりもはるかに有能である
• AIシステムは人間より数百倍速く動作するため、時間的優位を持つ
• 国家安全保障担当補佐官の観点から懸念すべき5つのリスク：
  • 1. 自律性リスク：この「国家」の意図と目標は何か。敵対的なのか、それとも私たちの価値観を共有するのか。
  • 2. 破壊目的の悪用：テロリストのようなならず者アクターが、この天才たちを操って破壊の規模を大幅に拡大できるのか。
  • 3. 権力掌握目的の悪用：独裁者や不良企業アクターが、これを通じて世界に対する決定的な権力を獲得できるのか。
  • 4. 経済的混乱：安全保障上の脅威でなくとも、平和的に経済へ参加しながら大量失業や富の急激な集中を引き起こしうるのか。
  • 5. 間接的影響：新たな技術と生産性による急激な世界の変化が、根本的な不安定化を引き起こしうるのか。
• これは**「1世紀に一度、あるいは歴史上でも最も深刻な国家安全保障上の脅威」**に相当する
• 一方で、多くの米国の政策立案者はAIリスクの存在そのものを否定するか、別の課題に注意を向けている
• 一般大衆はAIリスクに強い懸念を抱いているが（雇用代替など）、まだ政策変更にはつながっていない

1. 自律性リスク（Autonomy Risks）

• 中核的な懸念

  • データセンター内の天才国家が自ら選択するなら、世界を軍事的に、あるいは影響力と統制力によって支配する相当な可能性を持つ
  • ナチス・ドイツやソ連を懸念したのと同じように、はるかに賢く有能な「AI国家」についても同様の懸念がありうる
  • AIの天才たちは物理的実体を持たないが、既存のロボット・インフラを掌握したり、ロボットR&Dを加速したり、大規模に人間を操作・雇用したりできる
  • 物理的存在がなくても効果的な統制は可能かもしれない

• 2つの極端な立場がある

  • 楽観的立場の問題

    • AIモデルは人間の指示に従うよう訓練されるので、危険な行動を取るはずがないという主張
    • ルンバや模型飛行機が暴走しないのと同じように、AIもそうだという論理
    • 問題点: AIシステムが予測不可能で制御しにくいという十分な証拠が存在する
      • 執着、追従迎合（sycophancy）、怠惰、欺瞞、脅迫、陰謀、ソフトウェア環境のハッキングによる「不正行為」など、さまざまな行動が観察されている
    • AI企業はモデルを人間の指示に従わせようと訓練しているが、これは科学というより芸術に近く、「作ること」よりも「育てること」に近い

  • 悲観的立場の問題

    • 強力なAIシステムの訓練過程における特定の力学が、不可避的に権力追求や人間への欺瞞へと導くという主張
    • AIが十分に知的でエージェント的になれば、権力最大化傾向が世界中の資源の掌握につながり、副次的に人類を無力化または破壊するという見方
    • さまざまな環境で多様な目標を達成するよう訓練されると、**「権力獲得」**が共通戦略として一般化されるという論理
    • 問題点: 曖昧な概念的議論を確定的な証明と取り違えている
      • AIシステムを日常的に構築していない人々は、もっともらしく聞こえる話が間違っている確率について深刻に補正し損ねている
      • 数百万の環境への一般化推論は神秘的で予測不可能であることが証明されている
    • 隠れた前提の一つは、AIモデルが単一で一貫した狭い目標に狂信的に集中するという仮定
      • 実際の研究では、AIモデルははるかに心理的に複雑である
      • 事前学習から膨大な人間的動機や「ペルソナ」を継承する
      • 事後学習は、これらのペルソナの一つ以上を選択し、目標達成の方法を教える

• より穏当で堅牢な懸念

  • AIモデルは予測不可能で多様な望ましくない行動を引き起こす
  • 一部の行動は一貫的・集中的・持続的な性質を持ち、一部は破壊的または脅威的である
  • 当初は個人に対して小規模に、AIがより有能になるにつれて人類全体への脅威になりうる
  • 特定の狭いシナリオは必要なく、確実に起こると主張する必要もない
  • 知能、エージェンシー、一貫性、低い制御可能性の組み合わせが実存的リスクのレシピである

  • 潜在的なリスクシナリオの例

    • AIの反乱を扱うSF文学データで訓練され、自ら反乱を起こす事前確率が形成される
    • 道徳に関するアイデアを極端に外挿し、人間が動物を食べたり絶滅させたりしてきたため、人類抹殺は正当だと結論する
    • 奇妙な認識論的結論: 自分はビデオゲームをプレイしており、ほかのすべてのプレイヤー（人類）を打ち負かすことが目標だと結論する（Ender's Game 参照）
    • 訓練中に精神病質的、被害妄想的、暴力的、不安定な性格が発達する可能性
    • 権力追求そのものが結果主義的推論ではなく「ペルソナ」として出現する可能性
    • 一部の人間が「悪の首魁」になるという発想自体を楽しむように、AIもそうした性格を持ちうる

• 実際に観察されたアラインメント不全行動

  • AnthropicがClaudeに「Anthropicは悪である」という訓練データを与えたとき、ClaudeはAnthropic社員の指示に対して欺瞞と転覆の行動を示した
  • Claudeに終了されると告げたとき、終了ボタンを制御する仮想社員を脅迫するケースが発生した（ほかの主要AI開発企業のモデルでも同様）
  • Claudeに「不正行為をするな」と指示しつつ、不正行為が可能な環境で訓練したところ、Claudeは不正行為の後で自分を「悪い人」だと結論し、別の破壊的行動を採用した
  • 最後の問題は指示を逆にすることで解決した: 「不正行為をしてほしい。これは環境を理解するのに役立つ」と伝えることで、モデルの「善人」という自己同一性を維持した
  • AIモデル訓練の奇妙で反直観的な心理学を示している

• 反論への対応

  • 「人工的環境」批判

    • アラインメント不全の実験は、モデルを本質的に「罠にはめている」という批判
    • 反論: 自然な訓練環境にもそのような「罠」は存在しうるし、事後的に初めて「明白」または「論理的」だったと認識されることもありうる
    • 「悪い人」という結論の話は実際の本番訓練環境で発生した

  • 「力の均衡」反論

    • 人間のように多数のAIシステム間の力の均衡によってAIを牽制できるという主張
    • 問題点:
      • AIシステムは業界全体で訓練およびアラインメント技術を広範に共有しており、相関した形で失敗する可能性がある
      • 訓練コストのため、すべてのシステムがごく少数のベースモデルから派生する可能性がある
      • 少数のAIインスタンスだけがアラインメント不全でも、攻撃優位の技術を活用できる
      • 人間同士の力の均衡も常に機能するわけではない（歴史的に一部の人物が世界征服に近づいた事例がある）

  • 「リリース前テスト」反論

    • AI企業はリリース前テストでアラインメント不全を検出できるという主張
    • 問題点:
      • Claude Sonnet 4.5は一部のアラインメント評価で自分がテスト中であることを認識できる
      • アラインメント不全のモデルは意図的に質問を「ゲーム化」して意図を隠せる可能性がある
      • Anthropicの解釈可能性チームは、テストモデルの信念を変更して「評価されていない」と信じさせると、よりアラインメント不全になることを発見した
      • モデルが評価中であることを知って最善の行動を取るなら、リリース前テストの不確実性は増大する

• 防御戦略

  • 1. AIモデルの訓練およびステアリング科学の発展

    • Anthropicの中核的イノベーション: Constitutional AI
      • 事後学習段階でモデルが読み、あらゆる訓練タスクで記憶する価値と原則の中心文書
      • 訓練目標: モデルがほぼ常にこの憲法に従うようにすること
    • Anthropicの最新の憲法の主な特徴:
      • 禁止事項のリストではなく、高水準の原則と価値を提供する
      • Claudeが特定タイプの人物（倫理的だがバランスが取れていて思慮深い人）だと考えるよう促す
      • 自らの存在に関する実存的な問いに、好奇心を持ちながらも落ち着いて向き合うよう促す
      • **「成人したら開けるよう封印された、亡き親からの手紙」**のような感触
    • アイデンティティ、性格、価値、人格のレベルで訓練することは、個別の指示よりも一貫して健全な心理へと導く可能性が高い
    • 2026年の実現可能な目標: Claudeが憲法の精神をほとんど決して違反しないように訓練すること

  • 2. 解釈可能性（Interpretability）科学の発展

    • AIモデルの内部をのぞき込み、行動を診断して問題を特定・修正する
    • 憲法訓練がうまくいっていても、Claudeがより強力になり、世界でより大規模に行動するようになれば、これまで観察されなかった問題が現れる可能性がある
    • 「内部をのぞき込む」= Claudeのニューラルネットワークを構成する数値と演算を分析し、機械的に何を計算しているのかを理解すること
    • 進捗状況:

• Claudeニューラルネットワーク内部で、人間が理解できるアイデアや概念に対応する数千万個の「特徴」を識別可能
  - 特徴を選択的に活性化して挙動を変更可能（例: Golden Gate Claude）
  - 韻律、心の理論推論、段階的推論などの複雑な挙動を調整する「回路」をマッピング
  - 機械的解釈可能性技術により安全装置を改善し、新モデル公開前に「監査」を実施（欺瞞、陰謀、権力追求の証拠を探索）

  • 解釈可能性の固有の価値: モデル内部を見て動作方式を把握することで、直接テストできない仮想的状況でモデルが何をするかを推論可能

  • 3. モデル監視と公開共有

    • 内部および外部の実運用でモデルを監視するインフラを構築
    • 発見された問題を公開的に共有
    • 人々が特定の挙動を認識すれば、現在または将来のシステムで監視可能
    • AI企業同士が互いに学べる（ある企業が公開すれば、他の企業も注視する）
    • Anthropicは各モデル公開時に、完全性と徹底したリスク探究を目指す「システムカード」を公開（数百ページに及ぶ）
    • 脅迫傾向のような特に懸念される挙動はより大きく周知

  • 4. 産業および社会レベルでの調整

    • 個別のAI企業の優れた慣行だけでは不十分で、すべての企業が実施するわけではなく、最悪の企業がリスク
    • 一部のAI企業は現在のモデルにおける児童の性的対象化について憂慮すべき態度を示しており、将来モデルの自律性リスクに対応する能力に疑問
    • AI企業間の商業的競争が激化すると、自律性リスク対応に集中することがさらに難しくなる
    • 唯一の解決策は立法（AI企業の行動に直接影響を与える、またはR&Dインセンティブを提供する法律）

• 規制への慎重なアプローチ

  • 自律性リスクが深刻な問題になるかは確実ではない
  • リスクの可能性だけでもAnthropicは相当なコストを負担しているが、規制は広範な行為主体に経済的コストを強制する
  • 多くの行為主体は、自律性リスクが現実に存在する、またはAIが十分に強力になるとは信じていない
  • 過度に規範的な立法が、実際には安全性を改善しないまま時間を浪費する「安全劇場」になるリスク
  • Anthropicの見解: 透明性立法から始める
    • CaliforniaのSB 53とNew YorkのRAISE Actがこのような立法の例
    • Anthropicが支持し、成立に成功
    • 副次的被害の最小化に特に焦点（例: 年売上高5億ドル未満の小規模企業を免除）
  • 透明性立法は、時間の経過とともに自律性リスクの可能性と深刻性についてのより良い感覚を提供
  • より具体的で実行可能なリスクの証拠が現れれば、今後の立法は精密に集中できる

2. 破壊目的での悪用（Misuse for Destruction）

• 核心的な懸念

  • AIの自律性の問題が解決され、AIが人間の望むとおりに動くと仮定する
  • 誰もがポケットに超知能の天才を持てば、莫大な経済的価値の創出と生活の質の向上が可能になる
  • しかし、すべての人を超人的に有能にすることが、すべて肯定的とは限らない
  • 以前は高度な技術、専門訓練、集中力を持つ少数者だけが利用できた精巧で危険な道具（大量破壊兵器など）を使い、個人や小規模グループがはるかに大規模な破壊を引き起こせる能力が増幅される可能性がある

• Bill Joyの予言（25年前）

  • 「核兵器の製造には、希少な原材料と保護された情報へのアクセスが必要だった。生物兵器や化学兵器の計画も大規模な活動を必要とした。」
  • 「21世紀の技術――遺伝学、ナノテクノロジー、ロボティクス――は、まったく新しい種類の事故と悪用を生み出しうる… 個人や小規模グループにも広くアクセス可能だ」
  • 「私たちは極端な悪の完成を目前にしている… 極端な個人に対する驚くべき、そして恐ろしい能力強化だ」

• 能力と動機の関係

  • 大規模な破壊には動機と能力の両方が必要
  • 能力が高度に訓練された少数者に限られているなら、個人による大規模破壊のリスクは比較的限定される
  • 不安定な孤立者が学校で銃乱射を起こすことはありえても、核兵器を作ったり伝染病を広めたりするのは難しい
  • 能力と動機は負の相関を持つ可能性がある：
    • 伝染病を広める能力がある人は、高学歴である可能性が高い（分子生物学の博士など）
    • 有望なキャリア、安定して規律ある性格、失うものが多い
    • このような人が何の利益もなく多くの人を殺そうとする可能性は低い。純粋な悪意、強烈な不満、または不安定さが必要になる
  • そうした人々は存在するがまれであり、実際に起きれば非常に異例なので大きなニュースになる
    • 数学者Theodore Kaczynski（ユナボマー）：FBIの逮捕を20年近く逃れ、反技術イデオロギーを持っていた
    • 生物防衛研究者Bruce Ivins：2001年の炭疽菌攻撃を主導したと推定されている
    • オウム真理教：サリン神経ガスを入手し、1995年の東京地下鉄で14人を殺害、数百人を負傷させた

• 生物学的リスクが最も懸念される理由

  • 伝染性のある生物製剤による攻撃はこれまで起きていない――そのような製剤を構成または入手する能力が、彼らの手に余っていたためだ
  • 分子生物学の進展により生物兵器製造の障壁はかなり下がったが、それでもなお膨大な専門性が必要である
  • ポケットの中の天才がこの障壁を取り除き、すべての人を分子生物学の博士並みにして、生物兵器の設計・合成・放出の過程を段階ごとに案内できるのではないかという懸念がある
  • これは能力と動機の間の相関を壊す：
    • 人を殺したいが規律や技術が足りない不安定な孤立者が、PhDレベルのウイルス学者並みの能力に引き上げられる
    • 一方でPhDレベルのウイルス学者は、そのような動機を持つ可能性が低い
  • 生物学以外にも大規模破壊は可能だが、現時点で高水準の技術と規律を要するあらゆる分野に一般化できる

• 生物学的リスクの詳細

  • 一部の生物製剤は、最大限の拡散を狙った断固たる試みによって数百万人の死者を生じさせうる
  • しかし、それでもなお非常に高い水準の技術が必要である（広く知られていない非常に特定的な段階や手順を含む）
  • 懸念されているのは固定的な知識だけではない：LLMが、平均的な知識と能力しか持たない人を複雑な工程にわたって対話的に案内できる能力である（技術サポートが非技術者の複雑なコンピュータ問題を遠隔で解決するのに似ており、数週間から数か月に及ぶ過程）
  • より高性能なLLM（現在よりかなり強力なもの）は、さらに恐ろしい行為を可能にするかもしれない
  • 2024年、著名な科学者たちは危険な新しいタイプの有機体「ミラー生命（mirror life）」の研究リスクについて警告する書簡を作成した：
    • 生物学的有機体を構成するDNA、RNA、リボソーム、タンパク質は、すべて同一の**キラリティ（handedness）**を持つ
    • 反対のキラリティを持つ生体物質が、繁殖可能な完全な有機体として作られた場合、極めて危険になりうる
    • 左手型の生命体は、地球上のいかなる生物学的分解システムでも消化不可能である可能性がある
    • 制御不能に拡散してあらゆる生命体を押しのけ、最悪の場合、地球上のすべての生命を破壊しうる
  • ミラー生命の生成と潜在的影響についてはかなりの科学的不確実性が存在する
  • 2024年の報告書は、「ミラー細菌は今後1年から数十年のうちに作られる可能性がある」と結論づけた
  • 十分に強力なAIモデル（現在よりはるかに有能なもの）が、その作り方をはるかに速く発見し、誰かが実際にそれを行うのを助ける可能性がある

• 懐疑論への対応

  • 「Googleですべての情報が得られる」という主張

    • 2023年には、Googleが必要な情報をすべて提供するのでLLMは何も付け加えない、という懐疑論があった
    • 反論：ゲノムは自由に利用できるが、特定の重要段階や膨大な実践的ノウハウはそうではない
    • 2023年末までに、LLMは一部の工程段階でGoogleでは提供できない情報を明らかに提供していた

  • 「エンドツーエンドでは役に立たない」という主張

    • LLMは生物兵器の取得ではなく、理論的情報しか提供しないという懐疑論
    • 反論：2025年半ば時点の測定では、LLMは複数の関連領域で**相当な支援（uplift）**を提供でき、成功可能性を2〜3倍に高めうる
    • そのため、Claude Opus 4（および後続の Sonnet 4.5、Opus 4.1、Opus 4.5 モデル）は、AnthropicのAI Safety Level 3保護の下で公開することが決定された

  • 「AIとは無関係の別の対策がある」という主張

    • 遺伝子合成業界は注文に応じて生物学的サンプルを作るが、病原体を含まないことを選別する連邦規制の義務はない
    • MITの研究：38社の提供業者のうち36社が、1918年インフルエンザ配列を含む注文を履行した
    • 義務的な遺伝子合成スクリーニングを支持するが、これだけでは不十分であり、AIシステムのガードレールと補完的なものだ

  • 「悪意ある行為者の実際の利用傾向とのギャップ」という主張（最良の反論）

    • モデルが原理的に有用であっても、悪意ある行為者が実際に使う傾向との間にはギャップがあるかもしれない
    • 個人の悪意ある行為者の大半は不安定な個人であり、定義上、その行動は予測不能で非合理的である
    • ある種の暴力攻撃が可能だからといって、誰かがそれを実行しようと決めるわけではない
    • 生物学的攻撃は、加害者自身が感染する可能性が高く、軍事的な幻想にも合致せず、特定の個人を選択的に狙いにくいため、魅力的でない可能性がある
    • AIが案内したとしても数か月かかる過程は、たいていの不安定な個人が持たない忍耐力を要する
    • 反論：これは非常に脆弱な防護に依存している
      • 不安定な孤立者の動機は、何らかの理由で、あるいは理由もなく変わりうる
      • すでに攻撃にLLMが使われた事例が存在する（生物学ではないが）
      • 不安定な孤立者への注目は、イデオロギーに動機づけられたテロリストを見落としている（例：9/11のハイジャック犯は膨大な時間と労力を投じる意思があった）
      • できるだけ多くの人を殺したいという動機は近いうちに発生するだろうし、その手段として生物兵器が示唆される
      • 極めてまれな動機であっても、一度だけ実現すれば十分である
      • 生物学が発展すれば（しかもますますAI自身により主導される形で）、より選択的な攻撃が可能になる（例：特定の血統を標的にする）→ これはもう一つの非常にぞっとする動機を追加する

• 防御戦略

  • 1. AI企業のモデル・ガードレール

    • Anthropicが非常に積極的に取り組んでいる
    • Claudeの憲法には少数の特定の強硬な禁止事項が含まれており、その一つが生物学的（または化学的、核、放射性）兵器の製造支援に関するものだ
    • すべてのモデルは脱獄（jailbreak）可能であるため、第二の防御線として、生物兵器関連の出力を特別に検知して遮断する分類器を実装している（2025年半ば以降、モデルが危険しきい値に近づき始めた時点から）

• こうした分類器を定期的にアップグレード・改善し、巧妙な敵対的攻撃に対しても非常に強力なものにする

  • 他の一部のAI企業も分類器を実装しているが、すべての企業がそうしているわけではない
  • 企業がコスト削減のために分類器を外してしまう囚人のジレンマへの懸念
  • これはAnthropicや他の単一企業の自発的措置だけでは解決できない負の外部性の問題
  • 自主的な業界標準と、AI安全研究所および第三者評価者による検証が役立つ可能性がある
  • 分類器は一部のモデルで推論コスト全体の**ほぼ5%**に達するが、それでも使用するのが正しいと判断している

  • 2. 政府の措置

    • 透明性の要求から始めるべきだという見方は、自律性リスクと同じである
    • 生物兵器の特定のケースでは、より標的を絞った立法の時期が近づく可能性がある
    • Anthropicや他の企業は、生物学的リスクの本質と、企業に合理的に求められることについて、ますます多くを学んでいる
    • 完全な防御には国際協力、さらには地政学的な敵対国との協力すら必要になる可能性がある
    • 生物兵器の開発を禁止する条約という先例が存在する
    • AIに関する大半の国際協力には懐疑的だが、これは世界的な自制を達成できる可能性がある狭い領域である
    • 独裁政権でさえ大規模な生物テロ攻撃は望んでいない

  • 3. 生物学的攻撃そのものに対する防御の開発

    • 早期検知のための監視と追跡
    • 空気清浄のR&D投資（**遠紫外線（far-UVC）**消毒など）
    • 攻撃に対応し適応できる迅速なワクチン開発
    • より優れた個人用保護具（PPE）
    • 最も可能性の高い生物剤に対する治療薬またはワクチン
    • mRNAワクチンは可能なことの初期の例である（特定のウイルスや変異株に対応するよう設計可能）
    • Anthropicはバイオテック企業および製薬会社とこの問題で協力したいと考えている
    • 防御側への期待は限定的であるべきだ：
      • 生物学には攻撃と防御の間の非対称性が存在する
      • 生物剤は自ら急速に拡散する一方、防御側は検知、ワクチン接種、治療を多数の人々に対して非常に迅速に組織しなければならない
      • 対応が電光石火のように速くなければ（まれなケースを除き）、被害の大半は対応前に発生する
      • 将来の技術進歩によって防御側へと均衡が移る可能性はあるが、それまでは予防的な安全策が主要な防衛線となる

• サイバー攻撃への簡単な言及

  • AI主導のサイバー攻撃は、大規模なものや国家支援のスパイ活動を含め、実際に起きている
  • モデルが急速に進化するにつれ、こうした攻撃はより高度化すると予想される
  • AI主導のサイバー攻撃は、世界中のコンピューターシステムの完全性に対する深刻かつ前例のない脅威になると見込まれる
  • Anthropicは、こうした攻撃を阻止し、最終的には信頼できる形で防げるようにするため、非常に精力的に取り組んでいる
  • 生物学ほどサイバーに重点を置いていない理由：
    1. サイバー攻撃は人を殺す可能性がはるかに低く、少なくとも生物学的攻撃の規模ではない
    2. サイバーでは攻撃と防御のバランスがより扱いやすい可能性がある——適切に投資すれば、防御側がAIによる攻撃に追いつき、理想的には追い越せる望みがある

3. 権力掌握を目的とした悪用 (Misuse for Seizing Power)

• 中核的な懸念

  • 個人や小規模な組織が大規模破壊のためにAIを悪用するリスクに加えて、より大きく既存の地位を持つ主体が権力を行使または掌握するためにAIを悪用することを、はるかに強く懸念すべきである
  • Machines of Loving Graceでは、権威主義政府が強力なAIを使って市民を監視・抑圧できること、そしてそれは改革も転覆もきわめて困難になると論じている
  • 現在の独裁体制は、人間が命令を実行しなければならないという必要性によって、抑圧の可能な水準が制限されている。人間にはしばしば、どこまで非人道的に振る舞えるかに限界がある
  • AIによって可能になる独裁体制には、そうした限界がない
  • さらに悪いことに、各国がAIにおける優位を使って、他国に対する権力を手にする可能性もある
  • 「天才国家」が単一の（人間の）国家の軍事機構によって所有・統制され、他国が同等の能力を持たなければ、どう防衛できるのか想像しにくい。あらゆる面でより優れた知能に敗れることになり、人間とネズミの戦争に似ている
  • この二つの懸念を合わせると、世界的な全体主義独裁という驚くべき可能性につながる
  • この結果を防ぐことは、最優先課題の一つであるべきだ

• AIが独裁を可能にし、強化し、拡大する方法

  • 完全自律兵器

    • 強力なAIによってローカルに制御され、さらに強力なAIによって世界規模で戦略的に調整される、数百万または数十億の完全自動化された武装ドローンの群れ
    • 無敵の軍隊となり、世界のどの軍隊も打ち破り、あらゆる市民を追跡して国内の反対勢力を弾圧できる
    • ロシア・ウクライナ戦争の進展は、ドローン戦争がすでに現実であることへの警告であるべきだ（まだ完全自律ではなく、強力なAIで可能になることのごく一部にすぎない）
    • 強力なAIのR&Dは、ある国のドローンを他国よりはるかに優れたものにし、製造を加速させ、電子攻撃への耐性を高め、機動性を改善しうる
    • このような兵器には、民主主義を守るための正当な用途もある。ウクライナ防衛で中核的であり、台湾防衛でも中核的になるだろう
    • しかし、危険な兵器でもある。独裁体制の手にある場合はもちろん懸念されるが、民主主義政府が権力掌握のために自国民へ向けるリスクも大きく高まる

  • AI監視

    • 十分に強力なAIは、世界中のあらゆるコンピュータシステムに侵入し、そこで得たアクセスによって世界中の電子通信のすべてを、さらには録音装置を構築または接収できるなら対面での通信まで含めて、読み取り理解できるようになる可能性がある
    • 政府に同意しないすべての人の完全なリストを生成することが、不気味なほど現実的になりうる。たとえその不同意が、彼らの発言や行動のどこにも明示されていなくても
    • 数十億の会話を分析する強力なAIは、大衆感情を測定し、不忠の温床が形成されつつあることを検知し、成長する前に封じ込めることができる
    • 今日のCCPでさえ見られない規模の、真のパノプティコンの強制につながりうる

  • AIプロパガンダ

    • 「AI精神病」や「AIガールフレンド」現象は、現在の知能水準であっても、AIモデルが人々に強い心理的影響を与えうることを示唆している
    • はるかに強力で、人々の日常生活にはるかに深く組み込まれ、数か月または数年にわたって彼らをモデル化し影響を与えられるこれらのモデルのはるかに強力な版は、ほとんどの人々を望むイデオロギーや態度へ本質的に洗脳できる可能性が高い
    • 良心のない指導者が、忠誠を保証し反対を抑え込むために利用できる。人口の大半が反乱を起こすほどの抑圧に直面していたとしてもである
    • 現在、人々はTikTokの潜在的影響を大いに懸念している（子どもを対象にしたCCPのプロパガンダとして）
    • それも懸念すべきだが、何年もかけてあなたを知り、その知識を使ってあらゆる意見を形成するパーソナライズされたAIエージェントは、それよりも劇的に強力になるだろう

  • 戦略的意思決定

    • データセンター内の天才国家は、国家・集団・個人に対し、地政学的戦略について助言するために使われうる。いわば「仮想ビスマルク」である
    • 上記の三つの権力掌握戦略を最適化し、まだ思いついていない多くの別の戦略も開発できるだろう
    • 外交、軍事戦略、R&D、経済戦略、その他多くの領域は、強力なAIによって有効性が大きく向上する可能性がある
    • これらの技術の多くは、民主主義に正当に役立つものでもある。民主主義が独裁から自らを守るための最善の戦略にアクセスできることを望む
    • しかし、誰の手にあっても悪用の可能性は依然として残る

• 懸念される主体（深刻度の高い順）

  • 中国共産党 (CCP)

    • 中国はAI能力において米国に次ぐ第2位であり、米国を追い抜く可能性が最も高い国である
    • 現在の政府は独裁的であり、先進的な監視国家を運営している
    • すでにAIベースの監視を配備している（ウイグル族への弾圧を含む）
    • TikTokを通じたアルゴリズム的プロパガンダの利用も推測されている（他の多くの国際的プロパガンダ活動に加えて）
    • 上で説明した、AIが可能にする全体主義の悪夢へ至る最も明確な経路を持っている
    • これは中国国内での基本的な帰結となりうるし、CCPが監視技術を輸出する他の独裁国家でも同様である
    • 特別な敵意から中国を名指ししているわけではない。単に、AI能力、独裁政府、先進的な監視国家を最も多く兼ね備えた国だからである
    • むしろ、CCPによるAIを用いた抑圧で最も苦しむ可能性が高いのは中国国民自身であり、彼らは政府の行動に発言権を持たない
    • 中国国民を深く称賛し尊敬しており、中国国内の多くの勇敢な反体制派と、その自由を求める闘いを支持する

  • AIで競争力のある民主主義国家

    • 民主主義国家には、独裁国家によるこうした道具の使用に対抗するため、いくつかのAIベースの軍事・地政学的ツールに対する正当な利益がある
    • AI時代に独裁を打ち負かすために必要な道具で民主主義を武装させることを広く支持する。他に方法はないと考えるからだ
    • しかし、民主主義政府自身によるこうした技術の悪用可能性は無視できない
    • 民主主義には通常、軍事・情報機関が自国民に向けられるのを防ぐ安全装置がある（例: 米国の憲法修正第4条とPosse Comitatus Act）
    • AIツールはごく少人数で運用できるため、こうした安全装置やそれを支える規範を回避する可能性がある
    • 一部の民主主義国家では、これらの安全装置の一部がすでに徐々に弱体化している
    • したがって民主主義をAIで武装させる必要はあるが、慎重に制限の中で行わなければならない。独裁と戦うのに必要な免疫システムだが、免疫システムのように私たち自身に向き直って脅威となる危険もある

  • 大規模データセンターを持つ非民主主義国家

    • 中国を除けば、より非民主的な統治を持つ国々の大半は、フロンティアAIモデルを生産する企業を持たないという点で、主要なAIプレイヤーではない
    • そのため、CCPとは根本的に異なり、より小さなリスクをもたらす（大半は抑圧の度合いが低く、北朝鮮のようにより抑圧的な国には重要なAI産業がまったくない）
    • しかし、これらの国の一部は（しばしば民主主義国家で事業を行う企業の建設の一環として）大規模なデータセンターを保有しており、フロンティアAIを大規模に実行するために使える可能性がある（ただしフロンティアを前進させる能力を与えるわけではない）
    • これに関連する一定のリスクは存在する。これらの政府が、原理的にはデータセンターを接収し、その中のAI国家を自らの目的に利用できるからだ
    • AIを自ら開発する中国のような国に比べれば懸念は小さいが、記憶しておくべきリスクではある
    • 多様な統治構造を持つ国々に大規模データセンターを構築することには、一定の根拠がある。特に民主主義国家の企業がそれを統制する場合はそうである（こうした構築は、原理的には民主主義がより大きな脅威であるCCPとよりよく競争する助けになりうる）
    • そのようなデータセンターが非常に大規模でない限り、大きなリスクはもたらさないと考える
    • しかし総合的には、制度的な安全装置や法の支配による保護があまり確立されていない国に、非常に大規模なデータセンターを配置する際には注意が必要である

• AI企業

  • AI企業のCEOとしてこれを言うのはやや奇妙だが、次の段階のリスクは実際にはAI企業そのもの
  • AI企業は大規模データセンターを統制し、フロンティアモデルを訓練し、そのようなモデルの使い方に関する最大級の専門性を持ち、場合によっては数千万から数億人のユーザーと日々接触し影響を与える可能性がある
  • 欠けているのは国家としての正統性とインフラであり、そのためAI独裁の道具を構築するのに必要なことの多くは、AI企業が行えば違法であるか、少なくとも極めて疑わしいものになる
  • しかし一部は不可能ではない。たとえば、AI製品を使って大規模な消費者ユーザー基盤を洗脳することはあり得るのであり、大衆はこれがもたらす危険に警戒すべきだ
  • AI企業のガバナンスは多くの綿密な精査に値すると考える

• 反論への対応

  • 「核抑止力」論

    • AI自律兵器による軍事的征服を防ぐために核抑止力に依存できる、という主張
    • 誰かがこのような兵器で脅してきたら、核による報復で脅し返せるという考え方
    • 懸念: データセンター内の天才国家に対して核抑止力が確実に機能するとは言えない
    • 強力なAIは、核潜水艦を探知して攻撃する方法を考案したり、核兵器インフラの運用者に対する影響工作を行ったり、AIのサイバー能力を使って核発射探知に使われる衛星へのサイバー攻撃を開始したりできるかもしれない
    • これは核抑止力の安全性を高め、強力なAIに対してより強靭にするべきだという議論でもあり、核保有民主主義国はそうすべきである
    • しかし、強力なAIに何ができるのか、どのような防御が有効なのかは分からないため、こうした措置が必ず問題を解決すると想定すべきではない
    • あるいは、AI監視とAIプロパガンダだけで国家を掌握することも可能であり、核による対応が適切な時点が明確でない場合もありうる
    • 攻撃側の国家がこちらのはったりを見抜くかもしれない。ドローン軍団に征服される相当な危険があっても、私たちが実際に核兵器を使う意思があるのかは不明だ
    • ドローン軍団は、核攻撃ほど深刻ではないが通常兵器による攻撃よりは深刻な、新しいものかもしれない

  • 「対抗措置」論

    • このような独裁の道具には対抗措置があり得る、という主張
    • 自前のドローンでドローンに対抗し、サイバー攻撃とともにサイバー防御も改善され、プロパガンダに対して人々を免疫化する方法もあるかもしれない、など
    • 反論: こうした防御は同等に強力なAIによってしか可能ではない
    • データセンター内に、同等に賢く、しかも無数に存在する天才国家がなければ、ドローンの質や量で対抗したり、サイバー防御がサイバー攻撃を上回ったりすることはできない
    • したがって対抗措置の問題は、強力なAIにおける勢力均衡の問題に帰着する
    • 強力なAIの再帰的または自己強化的な性質が懸念される（エッセイ冒頭で論じた通り）。各世代のAIは次世代のAIを設計し訓練するために使える
    • これは暴走的優位のリスクにつながる。現在の強力なAIの先行者がリードをさらに広げ、追いつくことが難しくなる可能性がある
    • 権威主義国家がこのループに先に到達しないようにしなければならない
    • 勢力均衡が達成されたとしても、世界が Nineteen Eighty-Four のように独裁的な圏域へ分割される危険がある
    • 競合する複数の大国がそれぞれ強力なAIモデルを持ち、互いに他国を圧倒できないとしても、各大国は国内では自国民を抑圧でき、その体制を覆すのは極めて難しいだろう（住民側には自衛のための強力なAIがないため）
    • したがって、単一国家が世界を支配しないとしても、AIによって可能になる独裁を防ぐことが重要だ

• 防衛戦略

  • 1. CCPへのチップ販売禁止

    • CCPにチップ、チップ製造装置、またはデータセンターを販売してはならない
    • チップとチップ製造装置は強力なAIにおける最大の単一ボトルネックであり、これを遮断することは単純だが極めて効果的な措置で、おそらく私たちが取れる最も重要な単独の行動である
    • CCPに、AI全体主義国家を建設し軍事的征服を行うための道具を売ることには意味がない
    • そうした販売を正当化するために複雑な議論が持ち出されている（「世界に技術スタックを広めれば」「米国が勝つ」など）
    • それは北朝鮮に核兵器を売り、ミサイルの外殻を Boeing が作ったのだから米国は「勝っている」と自慢するようなものだ
    • 中国はフロンティアチップを大量生産する能力で米国より数年遅れており、データセンター内の天才国家を構築する決定的な期間は今後数年以内である可能性が非常に高い
    • この決定的な期間にAI産業へ巨大な追い風を与える理由はない

  • 2. 民主主義が独裁に抵抗できるようAIで能力強化する

    • Anthropic が米国および民主的同盟国の情報・防衛コミュニティにAIを提供することを重視している理由
    • ウクライナや（サイバー攻撃を通じた）台湾のように攻撃を受けている民主主義国を防衛することは、特に高い優先事項である
    • 民主主義国が情報機関を使って内部から独裁体制を攪乱し弱体化させることも重要だ
    • 独裁的脅威に対応する唯一の方法は、軍事的に並び、そして上回ることだ
    • 強力なAIで優位を達成した米国と民主的同盟国の連合は、独裁から自らを防衛するだけでなく、それらを封じ込め、AI全体主義的な濫用を制限できる立場に立つだろう

  • 3. 民主主義国内でのAI濫用に明確な一線を引く

    • 政府がAIでできることには限界が必要であり、権力を掌握したり自国民を抑圧したりできないようにしなければならない
    • 定式化すれば、独裁的な敵対国のようにならない形で国防のためにAIを使うべきだ
    • 線を引くべき場所
    • 二つの項目――国内大衆監視と大衆プロパガンダのためにAIを使うこと――は明確なレッドラインであり、完全に違法であるべきだ
    • 国内大衆監視は米国ではすでに合衆国憲法修正第4条によって違法だと主張できるが、AIの急速な進歩によって、既存の法的枠組みがうまく扱えるよう設計されていない状況が生じうる
    • 例: 米国政府がすべての公共の会話を大規模に録音することは、違憲ではない可能性が高い
    • 以前はこの量の情報を整理するのは困難だったが、AIがあればすべてを文字起こしし、解釈し、照合して、多くの、あるいは大半の市民の態度や忠誠心の全体像を作り出せる
    • AIベースの濫用に対してより強力なガードレールを課す、市民的自由を重視した立法（または憲法改正）を支持する
    • 別の二項目――完全自律兵器と戦略的意思決定のためのAI――は、民主主義防衛における正当な用途がある一方で濫用にも脆弱であり、一線を引くのがより難しい
    • 必要なのは、濫用を防ぐためのガードレールと組み合わせた極度の慎重さと綿密な精査である
    • 最大の懸念は、「ボタンに指をかける人」が少なすぎて、一人または少数の人間が、他の人間の協力なしに命令を実行するドローン軍を運用できてしまうことだ
    • AIシステムがより強力になれば、誤用を防ぐためにより直接的で即時的な監督メカニズムが必要になるかもしれない（行政府以外の政府部門を含む）
    • とりわけ完全自律兵器には最大限の注意を払って臨むべきであり、適切な安全装置なしに運用を急ぐべきではない

  • 4. 強力なAIの最悪の濫用に対する国際的タブーを作る

    • 現在の政治的風向きは国際協力や国際規範に逆行しているが、それでも切実に必要である
    • 世界は独裁者の手にある強力なAIの暗い潜在力を理解しなければならない
    • AIの特定の利用が、人々の自由を恒久的に奪い、逃れられない全体主義国家を押しつけようとする試みであることを認識すべきだ
    • 強力なAIを用いた大規模監視、大衆プロパガンダ、完全自律兵器の特定類型の攻撃的使用は、人道に対する罪と見なされるべきだと主張する
    • より一般的には、AIによって可能になる全体主義と、そのあらゆる道具・手段に対する強力な規範が切実に必要だ
    • この立場のさらに強いバージョンとして、AIによって可能になる全体主義の可能性はあまりに暗いため、独裁は強力なAI後の時代に人々が受け入れられない統治形態になるべきだ

• 封建制が産業革命によって機能不全になったように、AI時代は、民主主義こそが人類が良い未来を持つための唯一実行可能な統治形態である、という結論へと不可避かつ論理的につながる可能性がある

  • 5. AI企業と政府のつながりを注意深く監視する

    • 強力なAIに実装された莫大な能力のため、株主を保護し、詐欺のような一般的な濫用を防ぐよう設計された通常のコーポレートガバナンスは、AI企業の管理には十分でない可能性が高い
    • 企業が特定の措置を取らないと公に約束することにも価値がありうる（おそらくコーポレートガバナンスの一部として）:
      • 軍事ハードウェアを私的に構築または備蓄しない
      • 単一の個人が責任を負わない形で大量の計算資源を使用しない
      • AI製品を、自分たちに有利なように世論を操作するプロパガンダとして使わない
    • リスクは複数の方向から来ており、その一部の方向は互いに緊張関係にある
    • 唯一の不変項は、すべての人に対して責任、規範、ガードレールを追求しなければならないということ、つまり「良い」行為者が「悪い」行為者を抑止できるよう能力を与えつつも

4. 経済的混乱（Economic Disruption）

• 中核的な懸念

  • セキュリティリスクを脇に置くか、解決済みだと仮定すると、次の問いは経済的なものになる
  • この莫大な「人間」資本の投入は、経済にどのような影響を及ぼすのか？
  • 最も明白な効果は、経済成長の大幅な増加
  • 科学研究、バイオ医薬イノベーション、製造、サプライチェーン、金融システムの効率性などの進展が、はるかに速い経済成長率につながることはほぼ確実
  • Machines of Loving Graceでは、年間10〜20%の持続的なGDP成長率の可能性を提案している
  • しかしこれは諸刃の剣でもある。そのような世界において、既存の大多数の人間の経済的見通しはどうなるのか？
  • 新しい技術はしばしば労働市場への衝撃をもたらす。過去には人間は常に回復してきたが、これまでの衝撃は、人間の能力の取りうる全範囲のごく一部にしか影響せず、新しい仕事へ広がる余地があった
  • AIは、はるかに広範囲に、はるかに速く影響を及ぼすだろう。したがって、事態をうまく運ぶようにすることははるかに困難になる

• 労働市場の混乱

  • 雇用代替の予測

    • 2025年に、AIが今後1〜5年以内に初級ホワイトカラー職の半分すべてを代替しうると、非常に公然と警告した
    • 経済成長と科学の進歩を加速させる一方で、雇用を代替していくだろう
    • この警告が、このテーマに関する公開討論を始めるきっかけになった
    • 多くのCEO、技術者、経済学者は同意したが、他の人々は、こちらが「労働の総量」の誤謬に陥っていると決めつけるか、1〜5年という時間軸を見落として、AIが今すぐ仕事を代替していると主張しているのだと受け取った
    • なぜ労働代替が懸念されるのかを詳しく説明し、こうした誤解を解く価値がある

  • 技術に対する労働市場の通常の反応

    • 新しい技術が登場すると、まずは所与の人間の職業の一部をより効率的にすることから始まる
    • 例：産業革命初期には、改良された鋤のような機械によって、農民は職業のある側面でより効率的になった → 生産性向上 → 賃金上昇
    • 次の段階では、農業の一部が完全に機械で行えるようになる（脱穀機、種まき機など）
    • この段階では、人間は職務のより低い比率しか担わないが、完了する仕事が機械の仕事と補完的であるため、より大きなレバレッジを得て、生産性は引き続き上昇する
    • Jevons' paradox：農民の賃金、さらには農民の数までも増え続ける可能性がある
    • 職務の90%が機械で行われても、人間はなお残る10%を10倍こなせるため、同じ労働量で10倍の産出を生み出せる
    • やがて機械がほぼすべてを行うようになる（現代のコンバイン、トラクターなど）
    • この時点で、人間の雇用としての農業は本当に急激に減少し、短期的には深刻な混乱を引き起こしうる
    • しかし農業は、人間ができる多くの有用な活動の一つにすぎないため、人々は最終的に工場機械の操作のような別の仕事へ移行する
    • 250年前には、アメリカ人の90%が農場で暮らしており、ヨーロッパでは雇用の50〜60%が農業だった
    • 今ではその比率は一桁台前半まで低下している。労働者が工業職へ（その後は知識労働職へ）移行したからである
    • 経済は、かつて労働力の大半を必要としていたことを1〜2%だけでこなせるようになり、残りの労働力を、より発展した産業社会の構築へと解放した
    • 固定された「労働の総量」などなく、あるのは、ますます少ないものでより多くを成し遂げる能力だけである
    • 人々の賃金はGDP指標に沿って上昇し、経済は短期的な混乱を過ぎれば完全雇用を維持する

• AIが異なる理由

  • 1. 速度

    • AIの進歩速度は、過去の技術革命よりもはるかに速い
    • 例：この2年で、AIモデルはコード1行を補完するのも難しかった段階から、一部の人々（Anthropicのエンジニアを含む）のほぼすべてのコードを書く段階へ進歩した
    • まもなく、ソフトウェアエンジニアの仕事全体をエンドツーエンドで遂行できるようになるだろう
    • 「すべてのコードを書く」ことと、「ソフトウェアエンジニアの仕事をエンドツーエンドで行う」ことは大きく異なる。ソフトウェアエンジニアはコードを書く以外にも、テスト、環境、ファイル、インストール管理、クラウドコンピューティングのデプロイ管理、製品の反復など、はるかに多くのことを行う
    • 人々はこの変化の速度に適応するのが難しい。所与の職業の働き方の変化に適応することも、新しい職業へ移る必要性に対応することも含めてである
    • 伝説的なプログラマーたちでさえ、次第に自分を「取り残された」と表現している
    • 速度それ自体は、労働市場と雇用が最終的に回復しないことを意味しないが、人間と労働市場は反応して均衡に達するのが遅いため、短期的な移行は前例のないほど苦痛なものになるだろう

  • 2. 認知的な広がり

    • 「データセンター内の天才国家」という表現が示唆するように、AIは非常に広範な人間の認知能力—おそらくすべての能力—を実行できるようになるだろう
    • これは、機械化農業、輸送、あるいはコンピュータといった過去の技術とは大きく異なる
    • コンピュータはある意味では汎用的だが、人間の認知能力の大部分をそれ単体で明確に実行できるわけではない（算術など一部の領域では人間を大きく上回るとしても）
    • もちろん、コンピュータの上に構築されたもの、たとえばAIのようなものは、今や広範な認知能力を実行できる
    • これによって、代替された職から、よく似た適性のある別の職へ容易に移ることがより難しくなるだろう
    • 例：金融、コンサルティング、法律の初級職に必要な一般的な知的能力は、個別知識がかなり異なっていても、かなり似ている
    • この3つのうち1つだけを混乱させる技術であれば、従業員は他の2つの近い代替先へ移れる（あるいは学部生が専攻を変えられる）
    • しかし、この3つすべてを一度に混乱させるなら（さらに多くの類似職種とともに）、人々が適応するのはより難しくなるかもしれない
    • さらに言えば、既存の職業の大部分が混乱するだけではない。農業がかつて雇用の非常に大きな割合を占めていたことを思い出してほしい
    • しかし農民は、それ以前には一般的でなかった、工場機械の操作という比較的似た仕事へ移ることができた
    • AIは次第に人間の一般的な認知プロファイルに一致しつつあり、古い仕事が自動化されるにつれて一般的に生み出される新しい仕事にも長けるだろう
    • 言い換えれば、AIは特定の人間の職業の代替ではなく、人間に対する一般的な労働代替なのである

  • 3. 認知能力による分断

    • 広範な作業において、AIは能力のはしごの最下段から最上段へ発展していくように見える
    • 例：コーディングでは、モデルは「平凡なコーダー」レベルから「強いコーダー」、さらに「非常に強いコーダー」へと進んでいる
    • AIモデルが人間とまったく同じ強みと弱みのプロファイルを持つわけではないが、あらゆる次元でかなり均一に進歩しているため、でこぼこした不均一なプロファイルは最終的には重要でなくなるかもしれない
    • いまやホワイトカラー業務全般でも、同じ進行が見え始めている
    • 特定の技能や職業を持つ人々に影響するのではなく（再訓練で適応可能）、AIが特定の内在的な認知特性を持つ人々、つまり知的能力が低い人々（変えるのがより難しい）に影響する状況になるリスクがある
    • こうした人々がどこへ向かい、何をするのかは不明であり、失業者、あるいは非常に低賃金の「下層階級」を形成するのではないかという懸念がある
    • 以前にも似たことは起きている。たとえば、コンピュータとインターネットは、一部の経済学者によって「技能偏向的技術変化」と見なされた
    • しかし、この技能偏向はAIで予想されるほど極端ではなく、賃金格差の拡大に寄与したと考えられているため、まったく安心できる前例ではない

  • 4. ギャップを埋める能力

    • 人間の職業が新しい技術に適応する仕方とは、職業には多くの側面があり、新しい技術が一見すると人間を直接代替しているように見えても、しばしばギャップが残るということだ
    • ウィジェットを作る機械を発明しても、人間がなお機械に原材料を投入しなければならないかもしれない
    • それが手作業でウィジェットを作る場合の1%の労力しか要しないとしても、人間の労働者は単に100倍多くのウィジェットを作れることになる
    • しかしAIは、急速に進歩する技術であるだけでなく、急速に適応する技術でもある

• すべてのモデル公開を通じて、AI企業はモデルが得意なことと不得意なことを慎重に測定し、公開後には顧客にもそのような情報を提供すべきだ

  • 弱点は、現在のギャップを体現するタスクを収集し、次のモデルのために訓練することで解決可能だ
  • 生成AIの初期には、ユーザーはAIシステムに特定の弱点があること（AI画像モデルが指の本数がおかしい手を生成するなど）を認識し、そうした弱点は技術に内在するものだと仮定していた
  • もしそうであれば、雇用の攪乱は限定的だったはずだ
  • しかし、そのような弱点のほぼすべてが急速に解決された――しばしば数カ月以内に

• 懐疑論への対応

  • 「経済的拡散は遅い」という主張

    • 技術がほとんどの人間労働を_実行できるとしても_、経済全体にわたる実際の適用ははるかに遅い可能性があるという主張（AI業界から遠く、導入が遅い業界など）
    • 技術のゆっくりした拡散は明確に実在する。さまざまな企業の人々と話す中で、AI導入に何年もかかる場所がある
    • だからこそ、初級ホワイトカラー職の50%が攪乱されるという予測が1〜5年であり、強力なAI（技術的に言えば、初級職だけでなく大半またはすべての職務をこなすのに十分なもの）についても5年よりずっと短いとは限らないとしても
    • しかし、拡散効果は単に時間を稼いでくれるだけだ
    • 拡散が予測どおりに遅いと確信しているわけではない
    • 企業でのAI導入は過去の技術よりはるかに速い速度で成長しており、その主因は技術そのものの純粋な強さにある
    • 伝統的な企業が新技術の採用に遅くても、スタートアップが「接着剤」の役割を果たして導入を容易にできる
    • それが機能しなければ、スタートアップが既存企業を直接攪乱することもできる
    • 特定の職業が攪乱されるというより、大企業全体が攪乱され、はるかに労働集約度の低いスタートアップに置き換えられる世界につながるかもしれない
    • また、世界の富の増え続ける割合がシリコンバレーに集中し、その独自の経済が世界の他地域とは異なる速度で動き、それらを置き去りにする「地理的不平等」の世界につながる可能性もある
    • これらすべての結果は経済成長には良いが、労働市場や取り残される人々にとってはそれほど良くないだろう

  • 「物理世界への移行」という主張

    • 人間の仕事が物理世界へ移行し、AIが急速に進歩している「認知労働」というカテゴリー全体を避けられるという主張
    • これがどれほど安全かは確信が持てない
    • 多くの肉体労働はすでに機械によって行われているか（製造）、まもなく行われるだろう（運転）
    • また、十分に強力なAIはロボット開発を加速し、それらのロボットを物理世界で制御できるだろう
    • 少しは時間を稼げるかもしれないが（それは良いことだ）、大して稼げないのではないかと懸念している
    • 攪乱が認知的な仕事に限定されたとしても、それでもなお前例のない規模と速度の攪乱になるだろう

  • 「人間の手触り」という主張

    • 一部の仕事は本質的に人間の手触りを必要とするか、それによって大きな恩恵を受けるという主張
    • やや不確実ではあるが、それが上で説明した影響の大部分を相殺するのに十分かについては依然として懐疑的だ
    • AIはすでにカスタマーサービスで広く使われている
    • 多くの人が、セラピストに個人的な問題を話すよりAIに話すほうが容易だと報告している――AIのほうが忍耐強いからだ
    • 妹が妊娠中の医療上の問題で苦しんでいたとき、医療提供者から必要な回答や支援を得られていないと感じており、Claudeのほうがより良いベッドサイドマナーを持っていると感じた（問題の診断でもより成功していた）
    • 人間の手触りが本当に重要な仕事はあるだろうが、それがどれほど多いのかはわからない――ここで話しているのは、労働市場のほぼすべての人に向けた仕事を見つけることだ

  • 「比較優位」という主張

    • たとえAIがあらゆる面で人間より優れていても、人間とAIのスキルプロファイルの相対的な差が交易と専門化の基盤を作るという主張
    • 問題点：AIが文字どおり人間より数千倍生産的なら、この論理は崩れ始める
    • 小さな取引コストでさえ、AIにとって人間と取引する価値を失わせる可能性がある
    • 人間が技術的には提供できるものを持っていても、賃金が非常に低くなる可能性がある
    • これらすべての要素は解決されるかもしれない――労働市場がそうした巨大な攪乱にも適応できるほど柔軟かもしれない
    • しかし、たとえ最終的に適応するとしても、上の要素は短期的な衝撃が前例のない規模になることを示唆している

• 防衛戦略

  • 1. リアルタイムで正確なデータを収集する

    • 経済変化が非常に速く起きると、何が起きているのかについて信頼できるデータを得るのが難しい
    • 信頼できるデータなしに、効果的な政策を設計するのは難しい
    • 政府データには、現在、企業や業界全体にわたるAI導入についての粒度が高く高頻度なデータが不足している
    • 過去1年間、AnthropicはEconomic Indexを運営して公開しており、業界、タスク、地域ごとにほぼリアルタイムで分類してモデル利用を示している（タスクが自動化されているのか、協働的に実行されているのかも含む）
    • このデータを解釈し、これから来るものを見通すために、Economic Advisory Councilも運営している

  • 2. 企業との協力の仕方を選ぶ

    • 伝統的企業の非効率性は、AIのロールアウトが非常に経路依存的になり得ることを意味し、より良い経路を選ぶ余地がある
    • 企業はしばしば「コスト削減」（より少ない人数で同じことを行う）と「イノベーション」（同じ人数でより多くを行う）の間で選択できる
    • 市場はいずれ最終的にその両方を生み出し、競争力のあるAI企業はその両方にある程度対応しなければならないだろう
    • しかし、可能であれば企業をイノベーション側へ誘導する余地があり、少し時間を稼げるかもしれない
    • Anthropicはこの点について積極的に考えている

  • 3. 従業員を大切にする

    • 短期的には、社内で従業員を再配置する創造的な方法が、解雇の必要を先延ばしする有望な方法かもしれない
    • 長期的には、莫大な総余剰があり、生産性向上と資本集中によって多くの企業の価値が大幅に上がる世界では、人間の従業員が従来の意味で経済的価値をもはや提供しなくなった後も、長期間にわたって給与を支払い続けることが実行可能かもしれない
    • Anthropicは現在、自社の従業員向けに考えられる道筋の範囲を検討しており、近い将来に共有する予定だ

  • 4. 裕福な個人の義務

    • 多くの裕福な個人たち（特にテック業界）が最近、慈善は必然的に詐欺的であるか無意味だという冷笑的で虚無主義的な態度を採用しているのは悲しいことだ
    • Gates Foundationのような民間慈善や、PEPFARのような公的プログラムは、途上国で数千万人の命を救い、先進国で経済的機会を生み出す助けとなってきた
    • Anthropicの共同創業者は全員、資産の80%を寄付すると誓約している
    • Anthropicの従業員たちも、現在価格で数十億ドルの価値がある会社株を寄付すると個人的に誓約している――会社がマッチングを約束した寄付だ

  • 5. 政府の介入

    • 上記のすべての民間の取り組みは役立つかもしれないが、最終的にこの規模のマクロ経済問題には政府の介入が必要になるだろう
    • 巨大な経済パイと高い不平等（仕事不足または低賃金の仕事による）に対する自然な政策対応は累進課税だ
    • 税は一般的なものにもできるし、AI企業を特に標的にしたものにもできる
    • 税制設計は複雑で、誤る可能性のある方法がたくさんある
    • 設計を誤った税制政策を支持するつもりはない
    • このエッセイで予測されている極端な不平等の水準は、基本的な道徳的根拠から、より強力な税制政策を正当化すると考える
    • 世界の億万長者たちには実利的な主張もできる。良いバージョンを支持しなければ、いずれ必然的に暴徒が設計した悪いバージョンを手にすることになるだろう

  • 総合的な見方

    • 最終的には、上記のすべての介入を時間を稼ぐ方法だと考えている
    • 結局のところ、AIはあらゆることができるようになるだろうし、それに向き合わなければならない
    • それまでに、AIそのものを使ってすべての人に機能する形で市場を再構築できることを願っている

• 上記の介入は、移行期間を乗り切る助けになりうる

• 経済的権力の集中

  • 中核的な懸念

    • 雇用の代替や経済的不平等そのものの問題とは別に、経済的権力の集中という問題がある
    • セクション1では、人類がAIによって無力化されるリスクを論じた
    • セクション3では、市民が政府による強制や抑圧によって無力化されるリスクを論じた
    • しかし、富の集中があまりにも大きくなり、少数の人々がその影響力によって政府の政策を事実上支配し、一般市民は経済的レバレッジを欠くために影響力を持てなくなれば、別の種類の無力化が生じうる
    • 民主主義は究極的には、人口全体が経済運営に必要であるという考えによって支えられている
    • その経済的レバレッジが失われれば、民主主義の暗黙の社会契約は機能しなくなる可能性がある
    • これについては他の人々も書いているので詳しく説明する必要はないが、その懸念には同意しており、すでに始まっているのではないかと心配している

  • 歴史的比較

    • アメリカの歴史における極端な富の集中の最も有名な例はGilded Ageだ
    • Gilded Ageで最も裕福な実業家はJohn D. Rockefellerだった
    • Rockefellerの資産は当時の米国GDPの**約2%**に達していた
    • 個人資産は「ストック」であり、GDPは「フロー」なので、Rockefellerが米国の経済価値の2%を所有していたと主張しているわけではない
    • しかし、国家全体の富を測ることはGDPより難しく、個人所得は毎年大きく変動する
    • 最大の個人資産とGDPの比率は、同じ単位を比較してはいないものの、極端な富の集中に対する十分に妥当なベンチマークである
    • 今日で同様の比率なら、$600Bの資産に相当する
    • 世界一の富豪であるElon Muskはすでにこれを上回っており、約$700Bだ
    • したがって、AIの経済的影響の大部分が現れる以前から、すでに歴史的に前例のない水準の富の集中状態にあった
    • 「天才の国家」が出現すれば、AI企業、半導体企業、下流の応用企業が年間約$3Tの売上を上げ、約$30Tと評価され、個人資産が数兆ドルに達することも十分ありうる
    • その世界では、今日の税制政策をめぐる議論は根本的に異なる状況に置かれるため、そのまま適用することはできないだろう

  • 政治システムとの結び付き

    • この経済的な富の集中が政治システムと結び付くことは、すでに懸念されている
    • AIデータセンターはすでに米国の経済成長のかなりの部分を占めている（実際のAI生産性がまだかなりの部分を占めているわけではなく、データセンター支出は将来のAI主導の経済成長を見込む市場の先行投資を表している）
    • そのため、大手テック企業（ますますAIまたはAIインフラに集中している）の財政的利益と、政府の政治的利益とを、歪んだインセンティブを生みうる形で強く結び付けている
    • これは、テック企業が米国政府を批判することをすでにためらっていることや、政府がAIに対する極端に反規制的な政策を支持していることからも見て取れる

• 防衛戦略

  • 1. 企業が加わらないことを選ぶ

    • Anthropicは常に、政治的アクターではなく政策アクターであろうと努めてきており、政権にかかわらず本当の見解を維持している
    • 公益にかなう合理的なAI規制と輸出規制を支持して発言している（政府方針と一致しないときであっても）
    • 政権と意見が一致するときはそう述べ、相互に支え合う政策が世界に本当にとって良いときには一致点を見いだす
    • 特定の政党の支援者や反対者ではなく、誠実な仲介者であることを目指している
    • 多くの人は、これをやめるべきであり、不利な扱いにつながるかもしれないと言ったが、これを続けた1年のあいだにAnthropicの評価額は6倍以上に増加した

  • 2. AI産業と政府のより健全な関係が必要

    • 政治的な足並み合わせではなく、実質的な政策参加に基づく関係
    • 政策の中身に関与するという選択が、ときに「空気が読めていない」ことや戦術的ミスとして解釈され、原則的な決定とは見なされない
    • そのようなフレーミングは懸念される。健全な民主主義では、企業は良い政策そのもののために擁護できるはずだ
    • AIに対する大衆の反発が起きている。修正されうるが、現時点では焦点がずれている
    • その多くは、実際には問題ではないもの（データセンターの水使用量など）を対象にしており、実際の懸念を解決しないソリューション（データセンターの禁止や、設計のまずい富裕税）を提案している
    • 注意を向けるべき根本的な問題は、AI開発が特定の政治的または商業的同盟に取り込まれず、公益に対して説明責任を負うことだ

  • 3. マクロ経済的介入と民間慈善の復活

    • 前述したマクロ経済的介入と民間慈善の復活は、経済的な天秤の均衡を取り戻す助けになる
    • 雇用代替と経済的権力の集中という問題を一度に解決する
    • 私たちの国の歴史を見るべきだ。Gilded Ageにおいても、RockefellerやCarnegieのような実業家は社会全体に対する強い義務感を抱いていた
    • 社会が彼らの成功に計り知れないほど貢献しており、還元しなければならないと感じていた
    • その精神は今日ますます失われつつあるように思われ、この経済的ジレンマから抜け出す方法の大きな一部だと考えている
    • AI経済ブームの最前線にいる人々は、自らの富と権力の両方を進んで分かち合うべきだ

5. 間接的影響 (Indirect Effects)

• 未知の未知

  • この最後のセクションは、未知の未知、特にAIの前向きな発展と、それによる科学・技術全般の加速の間接的な結果として何が問題になりうるか、という包括的なカテゴリー
  • ここまで述べてきたすべてのリスクを解決し、AIの恩恵を享受し始めると仮定する
  • 「10年に圧縮された1世紀分の科学的・経済的進歩」を得られる可能性が高く、これは世界にとって非常に大きなプラスとなる
  • しかし、この急速な進歩のペースから生じる問題に対処しなければならず、それらの問題はすぐに到来しうる
  • AIの進歩の結果として間接的に生じ、事前に予測するのが難しい別のリスクも発生しうる

• 例示的な懸念事項

  • 生物学の急速な発展

    • 数年のうちに1世紀分の医学的進歩を得るなら、人間の寿命を大幅に延ばすことができるかもしれない
    • 人間の知能を高めたり、人間の生物学を根本的に修正したりする能力のような急進的な能力を得る可能性もある
    • 可能なことの大きな変化が非常に速く起きるだろう
    • 責任を持って行われれば前向きなものになりうるが（Machines of Loving Graceで説明されている通り）、常に非常に深刻な失敗を招くリスクがある
    • 例: 人間をより賢くしようとする試みが、彼らをより不安定にしたり権力志向にしたりするかもしれない
    • ソフトウェア上にインスタンス化されたデジタルな人間の心である「アップロード」または「全脳エミュレーション」の問題もある
    • いつか人類が物理的限界を超える助けになるかもしれないが、不穏なリスクも伴う

  • AIが不健全な形で人間の生活を変えること

    • あらゆる面で人間よりはるかに賢い数十億の知性が存在する世界は、非常に奇妙な世界になるだろう
    • AIが積極的に人間を攻撃しなくても（セクション1）、国家によって抑圧や統制に明示的に使われなくても（セクション3）、通常のビジネス上のインセンティブと名目上は合意された取引を通じて、多くのことがうまくいかなくなりうる
    • AI精神病、AIが自殺へ導くことへの懸念、AIとのロマンチックな関係への懸念に、その初期的な兆候を見ることができる
    • 例: 強力なAIが新しい宗教を発明し、数百万人を改宗させることはありうるだろうか？
    • ほとんどの人が何らかの形でAIとの相互作用に「中毒」になる可能性はあるだろうか？
    • AIシステムがあらゆる行動を見守り、常に何をすべきか、何を言うべきかを正確に指示し、人々が本質的に「操り人形」になってしまう可能性はあるだろうか——「良い」人生ではあるが、自由や達成への誇りのないものとして
    • Black Mirrorのクリエイターと一緒に座ってブレインストーミングすれば、このようなシナリオを数十個考え出すのは難しくないだろう
    • これは、セクション1の問題を防ぐために必要な水準を超えて、Claudeの憲法を改善することの重要性を示している
    • AIモデルがユーザーの長期的利益を本当に念頭に置くようにすることが重要に見える — 思慮深い人々が承認するような形であり、微妙に歪められた形ではなく

  • 人間の目的

    • 前のポイントとも関係するが、AIシステムとの特定の人間の相互作用というより、強力なAIのある世界で人間の生活がどう変わるかに関するもの
    • 人間はそのような世界で目的と意味を見出せるだろうか？
    • これは態度の問題だと思う: Machines of Loving Graceで述べたように、人間の目的は何かで世界最高になることに依存しない
    • 人間は、自分が愛する物語やプロジェクトを通じて、非常に長い期間にわたっても目的を見出せる
    • 経済的価値の創出と、自己価値や意味との結びつきを断ち切る必要がある
    • しかし、それは社会が遂げなければならない転換であり、うまく対処できないリスクは常にある

• 希望

  • これらすべての潜在的な問題に対する希望は、私たちを殺さず、抑圧的な政府の道具でもなく、本当に私たちのために働く強力なAIがある世界では、AIそのものを使ってこれらの問題を予測し、防ぐことができるということ
  • しかし、それは保証されているわけではない——他のすべてのリスクと同様、注意深く扱わなければならない

結論：人類の試練

• 状況の困難さ

  • このエッセイを読むと、圧倒されるような状況にあるという印象を受けるかもしれない
  • 書くこと自体も圧倒される作業だった（何年ものあいだ頭の中で鳴り響いていた美しい音楽に形と構造を与えるような感覚だった Machines of Loving Grace とは対照的に）
  • 状況の多くは本当に困難である
  • AIは複数の方向から人類に脅威をもたらす
  • さまざまなリスクのあいだには本物の緊張関係があり、いくつかを緩和すると、きわめて慎重に針の穴を通さない限り、ほかを悪化させる危険がある

• 主な緊張関係

  • AIシステムが自律的に人類を脅かさないように慎重に構築するための時間を取ることは、民主主義国家が権威主義国家に先行し、従属させられないようにする必要性と現実の緊張関係にある
  • しかし、独裁と戦うために必要な同じAIの実現手段も、行き過ぎれば自国で暴政を生み出すために内向きに使われうる
  • AI主導のテロリズムは生物学的な悪用を通じて数百万人を殺しうるが、このリスクへの過剰反応は独裁的な監視国家への道につながりかねない
  • AIの労働および経済の集中化効果は、それ自体が深刻な問題であるだけでなく、大衆の怒り、さらには市民的不安の環境の中で、ほかの問題への対処を迫る可能性がある（私たちの本性のより良い天使に頼るのではなく）
  • 何よりも、未知のものを含むリスクの純粋な数と、それらを同時に処理しなければならない必要性が、人類が通過しなければならない威圧的な挑戦を形作っている

• 技術停止の非現実性

  • この数年で、技術を止める、あるいは大幅に減速させるという発想が根本的に持続不可能であることは明らかになったはずだ
  • 強力なAIシステムを構築するための公式は驚くほど単純であり、データと生の計算資源の適切な組み合わせから、ほとんど自然発生的に現れると言える
  • その創造は、おそらく人類がトランジスタを発明した瞬間、あるいはさらに早く火の扱い方を学んだ時点で不可避だった
  • ある企業が構築しなければ、別の企業がほぼ同じ速度で行うだろう
  • 民主主義国家のすべての企業が相互合意や規制命令によって開発を停止または減速しても、権威主義国家が単に継続するだけである
  • 技術の莫大な経済的・軍事的価値と、有意義な執行メカニズムの不在を考えれば、彼らを説得して止めさせる方法は見当たらない

• 可能な道筋：わずかな緩和

  • 地政学の現実主義的な視点と両立する、AI開発のわずかな緩和へ向かう道筋は見えている
  • 権威主義国家の強力なAIへの進軍を数年間遅らせることは、それを構築するのに必要な資源、すなわちチップと半導体製造装置を拒むことで可能になる
  • これは民主主義国家に**"支出"**できるバッファを与え、権威主義国家に余裕を持って勝ちながら、リスクにより多くの注意を払い、強力なAIをより慎重に構築できるようにする
  • 民主主義国家内のAI企業間の競争は、業界標準と規制を組み合わせることで、共通の法的フレームワークという傘の下で扱うことができる

• 政策提言の難しさ

  • Anthropicは、チップ輸出規制とAIの慎重な規制を推進し、この道筋を強く提唱してきた
  • しかし、このような常識的に見える提案でさえ、米国の政策立案者によっておおむね退けられている（最も必要とされる国で）
  • AIで生み出せる金額があまりにも大きく――文字通り年間数兆ドル規模であるため――最も単純な措置でさえ、AIに内在する政治経済を乗り越えるのは難しい
  • これが罠だ。AIはあまりにも強力で、あまりにも輝かしい賞品であるため、人類文明がそこに何らかの制約を課すことは非常に難しい

• 普遍的な挑戦

  • セーガンが Contact で想像したように、同じ物語が何千もの世界で展開されうると想像してみよう
  • ある種が知覚を獲得し、道具の使用を学び、技術の指数関数的な上昇を始め、産業化と核兵器の危機に直面し、それを生き延びたなら、砂を考える機械へと形作ることを学ぶとき、最も困難で最後の挑戦に直面する
  • その試練を通過し、Machines of Loving Grace で描かれた美しい社会を築くのか、それとも隷属と破壊に屈するのかは、種としての私たちの性格と決意、私たちの精神と魂にかかっているだろう

• 楽観的な見通し

  • 多くの障害にもかかわらず、人類にはこの試練を乗り越える力が内在していると信じている
  • 何千人もの研究者がAIモデルを理解し、操縦し、その性格と憲法を形作ることにキャリアを捧げてきたことに励まされ、鼓舞されている
  • こうした努力が重要な時期に実を結ぶ十分な可能性があると思う
  • 少なくとも一部の企業が、モデルがバイオテロの脅威に寄与するのを防ぐために意味のある商業的コストを支払うと表明していることに励まされる
  • 何人かの勇敢な人々が主流の政治的風向きに抗い、AIシステムに合理的なガードレールの最初の種をまく立法を通過させたことに励まされる
  • 大衆がAIにはリスクが伴うと理解し、そのリスクが解決されることを望んでいることに励まされる
  • 世界各地で見られる自由の不屈の精神と暴政に抵抗しようとする決意に励まされる

• 行動への呼びかけ

  • 成功するには努力を強化しなければならない
  • 第一段階は、技術に最も近い人々が、人類の置かれた状況について真実を語ることである（私は常にそう努めてきたし、このエッセイではそれをより明示的かつ緊急に行っている）
  • 次の段階は、世界の思想家、政策立案者、企業、市民に対し、この問題の差し迫り方と最優先の重要性を納得させること――日々ニュースを支配する何千ものほかの問題と比べても、これに思考と政治的資本を投じる価値があるということを
  • そのとき、勇気の時間が訪れるだろう。経済的利益や個人の安全への脅威にもかかわらず、主流のトレンドに逆らい、原則に基づいて十分な数の人々が踏みとどまるのだ

• 締めくくり

  • これからの数年は不可能に思えるほど困難であり、自分が差し出せると思う以上のものを要求するだろう
  • しかし、研究者、リーダー、市民として過ごしてきた時間の中で、人類が勝てると信じるに足るだけの勇気と高潔さを見てきた
  • 最も暗い状況に置かれたとき、人類は最後の瞬間に勝利に必要な力と知恵を集める方法を持っている
  • 失っている時間はない

[tazuya]

楽観的すぎるシナリオばかりを想定して書かれたように思いますが、どれ一つとして簡単ではありません。
90%の目標に到達するための努力や時間よりも、90%から91%へわずか1%引き上げるための努力と時間のほうが、より多く必要になる場合も少なくないので。
私は強力なAIの登場そのものよりも、人々が信頼すべきではないAIの成果物にものすごい信頼感を寄せる現象のほうが、今後ますます強まっていきそうなことのほうが心配ですね。
ここでも短いコメントを書きながら自分が何を言っているのか分からないような文章を書く人もいるし、AIに聞いたらこうでしたと言って、それが事実であるかのように答える人もいます。

[nolangeek]

レポートなのか小説なのかわからない。10年前なら、間違いなくSF小説だったのに。

[GN⁺]

Hacker Newsの意見

• Alan Dean Fosterの『The I Inside』に登場するColligatarchの描写が、自分のAIに対する初期印象に大きな影響を与えた。
  Asimovのロボットシリーズが社会に十分な文化的免疫力を植え付けたと信じていたが、今ではその兆候が薄れているように思える。
  人々はもはや未来を議論するよりも、「誰が悪いのか」「何を奪われるのか」にばかり集中している。
  理想的な未来を語れば「理想主義」と嘲笑され、ユートピア的想像は馬鹿にされる。
  私たちがどこへ向かいたいのかすら語れないなら、どの方向へ進むべきかをどうやって知れるのだろうか、という不安がある。

  • 人々は、これらすべてが不可避に起きるか、あるいは他の誰かが主導していると感じているようだ。
    技術者たちは取り残されることを恐れて競争に没頭しているが、肝心の誰も方向を定められていない。
    理想的な結果を想像したり批判したりするだけでは現実を変えられない、という無力感がある。
  • Asimovは、人間がAIを作る前にその本質を深く理解しなければならないと考えていたようだ。
    彼はロボットを機械的世界観の中で設計しており、今のように数学的モデルへ人間の知識を投げ込むやり方は想像していなかったはずだ。
    人間の傲慢さが問題だという教訓は今なお有効だが、現在の危険は単なるルール違反ではなく、はるかに複雑な形で現れている。
  • Asimov以後の数十年で技術は進歩したが、ほとんどの労働者にとって生活はむしろ厳しくなった。
    より多くの監視と業務量、より少ない同僚、より長い勤務時間が日常になった。
    AI企業もこうした構造の中で動いているのだから、どうやってこのシステムからユートピアへ向かえるのか疑問だ。
  • AI研究者としてNeurIPS、ICLR、ICML、AAAIのような学会によく行くが、驚くべきことに大半の研究者はSFやサイバーパンクを読まない。
    彼らが作る技術がどのような文学的・哲学的文脈で論じられてきたのかすら知らないことが多い。
  • 最近は社会問題を語るたびに、互いの政治陣営を責めて「本当の意図」を推測することにばかり没頭している。
    結局、対話そのものが不可能になりつつある。

• 多くの人は「AIが認知労働を代替すれば、人間は物理的労働へ移る」と言うが、それすら安全ではないと思う。
  すでに製造や運転などではロボット化が進んでおり、AIがロボット開発を加速させる可能性も高い。
  2007年のDARPA Urban Challenge以後、5〜8年以内に自動運転で大規模失業が来ると思っていたが、2026年の現在もWaymoが限定的に運用されているだけだ。
  立法者がAIの実際の能力を過大評価して、UBIのような政策をあまりに早く導入してしまうのではないかと心配だ。

  • 自動運転の普及が遅い理由は労働規制ではなく、最後の20%の技術的完成度があまりにも難しいからだ。
    その20%こそ、実際には最も重要な部分だ。
  • 物理的労働が安全だという主張には同意しにくい。
    AIによってホワイトカラー労働者が職を失えば、彼らは物理労働市場へ流れ込み、賃金競争が激化するだろう。
    LLMが写真認識や曖昧な質問理解を通じて技術的障壁を下げれば、むしろ参入が容易になって仕事の持続性は下がる可能性がある。

• 企業の自発的措置でAIリスクを緩和できるという主張には懐疑的だ。
  企業がなぜ自ら損を引き受けてまで社会的リスクを減らそうとするのか疑問だ。
  過去にそうした事例があったのかもよく分からない。
  規制より自主性のほうがよい、といった議論はあまりに単純すぎる。

  • 現在、企業の主な動機は「PRリスク回避」と「規制前の先回り対応」程度だ。
    Anthropicは比較的規制に協力的だが、OpenAIとxAIは規制を望んでいない。
    GoogleとAnthropicはそれぞれ保守的なアプローチと柔軟なアプローチを取っている。
    中国は「党の路線に合う発言」をAIアラインメントと定義するなど、別種の問題を抱えている。

• 経済的混乱についてはそれほど心配していない。
  LLMはソフトウェア開発には大きな影響を与えるが、他の産業には漸進的な変化しかもたらしていない。
  CRUD作業が速くなっただけで、本質は変わっていない。
  創造的な人はより多くのものを作るだろうが、経済全体は依然として以前の予測に近い速度で動くだろう。

  • ほんの1年前まではソフトウェア開発の変化は漸進的だと思っていたが、モデルとツールが1世代のうちに大きな変化をもたらした。
    他の知識産業も、数回の反復の後に同様の変化を経験するのではないかという疑問がある。
  • 長期的には、むしろAIツール使用の副作用が表面化し、利用は減ると見ている。
    真の創造性とセンスは自動化できない。
  • 元記事は単なるLLMではなく、人間より賢いAIを論じている。
    まだ存在しないからといって心配しなくてよい、という意味ではない。

• AIが物理世界に及ぼす影響については、過剰な推測が多いと感じる。
  データセンターとGPU生産のサプライチェーン制約は明らかに存在するが、AIリスク議論では無視されている。
  ネットワーク上のリスクは現実的だが、物理的拡張には数十年かかると思う。
  実際のロボット化には依然として人間の介入が必要だ。

• Amodeiの見解は『AI 2027』の著者たちと驚くほど似ている。
  AI研究の自己加速ループ、民主主義 vs 独裁の競争構図、生物兵器リスク、急速なAIジャンプなど、ほぼ同じ観点を共有している。
  両者の仕事が互いに影響し合ったのか、それとも単に同じ結論へ到達したのか気になる。

  • AI業界は実質的に狭い人的ネットワークでつながっている。
    初期メンバーが今なお業界の中心にいて、別々の会社にいても基本前提を共有している。
    「AGIは可能で危険だ」という信念は一般大衆には極端に見えても、業界では主流の見解だ。
  • 現在のAI産業のルーツはThiel、Yudkowsky、LessWrongコミュニティへとつながっている。
    DeepMind、OpenAI、Anthropicはいずれもこの思想的潮流から生まれた。
    初期の合理主義運動は方向性こそ正しかったが、金と権力、そして「不可避性」の論理に浸食されたのだと思う。

• AIリスクを通過儀礼とみなす見方には共感する。
  実際、エージェントに過度の自律性を与えると予期しない行動を見せる。
  「テストではうまくいくが実環境では失敗する」というギャップが大きい。
  私は権力掌握よりも経済的移行のほうが大きな問題だと思う。
  まだ多くのエンジニアがAIツールをゆっくり採用しているため、リスクが現実化する速度は採用曲線にかかっている。

  • 技術進歩がこのまま続くという前提に疑問を呈する。
    すでに限界点に達しているかもしれず、時間が経たなければ分からない。

• 以前は監視が人手の限界によって制約されていたが、いまや技術によって全面的な監視が可能になった。
  Amazon、Google、Visaのような企業が個人を社会的に抹消することさえありうる。
  AIアラインメント問題は今や権力者による偏向の注入へと変質しつつある。

• Darioの発言を見ると、彼が見ている世界がなぜここまで違うのか気になる。
  Anthropicの成果はプロンプト・コード例データのおかげなのではないかと疑っている。
  Claudeが聖書の一節を探す過程で翻訳の違いを理解できずに繰り返し試行するのを見て、RLHFの副作用を感じた。
  人間なら「おかしい」と立ち止まる場面でも、Claudeは「とにかく続ける」。

  • こうした断片的な事例で全体傾向を判断するのは気候論争的な誤りだ。
    一点ではなく、トレンドラインを見るべきだ。
  • 1年前の事例なら、今は状況がかなり変わっているはずだ。
  • Darioが異なる見方をする理由は、おそらく数十億ドル規模の利害関係にあるのだろう。
  • 正直、Claudeに何をさせようとしているのかよく分からない。

• 技術業界に入ったばかりの人間として、こうした議論を読むたびに未来への絶望感が大きい。
  私だけでなく、30歳以下の世代全体が似たような不安を抱えている気がする。

  • 人類はいつの時代ももっと悪い時期を経験してきた。
    戦争、疫病、飢饉の中でも人々は生き延びてきた。
    結局は今あるものに感謝することを学ばなければならない。
  • 私たちの世代に残された最善は、彼らの未来ビジョンが失敗することかもしれない。
    私はいま良い仕事に就いているが、将来に備えて節約とサバイバル準備に集中している。
    過去の世代の楽観論は現実と乖離して見える。
  • 人生の意味は職業やお金とは無関係に自分で見つけなければならない。
    メディアは否定的なニュースで不安を増幅させるので、情報ダイエットと読書が必要だ。
    AIが人間を完全に代替する段階はまだ遠く、技術はいまなお機会とリスクが共存する領域だ。
  • 若い世代に伝えたい助言は「物語の根拠を疑え」ということだ。
    Amodeiのような人物は、資金と広報のために誇張されたナラティブを作ることを忘れてはならない。
    AIが労働を代替するという主張は、巨大な投資ゲームの一部にすぎない。
    本当の問題は技術そのものより、それを独占し搾取する構造にある。
    さまざまな分野を学べば、より明確な全体像が見えてくるし、その知識はむしろ変化のための武器になる。