3 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有
  • トランプ政権は、Anthropicの最上位AIモデルのすべての海外利用を遮断する決定を下し、これはAmazon CEOと財務長官を含む米当局者との会話から始まったもの
  • Amazonの研究者が一連のプロンプトによってFable 5モデルからサイバー攻撃に利用され得る遮断対象情報を引き出し、この事実が当局に伝えられた
  • ホワイトハウスは対応会議の後、外国政府・企業・個人のモデルアクセス遮断を最も直接的な解決策と判断し、トランプ大統領が安全保障上の理由で承認
  • Anthropicは規制順守のためMythosとFableへの全ユーザーアクセスを遮断し、外国出身の研究者の多くが最新モデルの作業から事実上排除された
  • 安全保障上の懸念とは別に、政権のAnthropicに対する不信と政治的緊張が決定に影響した可能性が指摘されており、AI産業に対する政府統制強化の流れの一部とみられる

取り締まりが引き起こされた経緯

  • Amazon CEOのAndy Jassyが、財務長官Scott Bessentを含む米当局者と交わした会話が、トランプ政権の海外利用遮断決定を引き起こした
    • Amazonの研究者が遮断されるべきサイバー攻撃支援情報をFable 5から取得したと、Jassyが当局に伝えた
    • テクノロジー業界の幹部らは、高度なAIツールの威力について政権と定期的に接触してきた
  • その直後、ホワイトハウス当局者は対応を協議する会議を開き、セキュリティ研究者らはAmazonの主張の検証を始めた
    • 外国政府・企業・個人のツールアクセスを遮断することが、最も直接的にリスクを解消する方法だと判断された
    • トランプ大統領はイノベーション阻害への懸念にもかかわらず、安全保障上の理由から措置を承認した

Anthropicの対応と影響

  • Anthropicは規制順守のため、MythosとFableへのすべてのユーザーアクセスを遮断
    • 世界中の企業がこのツールをソフトウェア脆弱性の特定に活用しようとする取り組みが妨げられる可能性がある
    • Anthropicの研究者の多くが外国出身であるため、この規定により最新モデルの作業が事実上不可能になった
  • Anthropicは、Amazonが指摘した脆弱性は比較的初歩的であり、他の公開モデルでも見つけられ、完全な脱獄(jailbreak)には当たらないと説明した
    • 一部のセキュリティ研究者もこの見解に同意している
    • 適切な安全策を備えており、安全を最優先していると説明し、以前にもホワイトハウスの指示でMythosのアクセス拡大を保留したことがある

AmazonとAnthropicの関係

  • AmazonはAnthropicの大口投資家であり、データセンター向けチップを供給し、最上位モデルをソフトウェア脆弱性の特定に活用している
    • Amazonの広報担当者は、主要クラウドプロバイダーとして政府から安全保障リスクについて助言を求められることは珍しくなく、その詳細は共有しないと述べた
  • Amazonがサイバー専門家と共有したFableレポートによると、特定のクエリセットで少なくとも4つのソフトウェアプログラムからセキュリティバグを見つけ出した
    • これはFableが通常提供しない情報だが、GreyNoise Intelligence創業者のAndrew Morrisは、危険なサイバーセキュリティ情報とは言い難いと評価した
    • 他の多くのツールでもすでにこの情報を明らかにできるが、Anthropicのソフトウェアはバグ情報を動作するエクスプロイトコードに変換する能力で知られている
    • この能力はFableのセキュリティガードレールで保護されており、Amazonの研究者がそれにアクセスした証拠はない

政権による統制強化の流れ

  • 安全保障当局にモデル監督権限を与える最近の大統領令と、政府によるAI企業の持分取得の議論が重なり、政権が業界に行使しようとする統制が急速に強まっている
    • R Street InstituteのAdam Thiererは、米国内でAIの政治化と高度計算統制の中央集権化が大きく深まっていると指摘した
  • Jassyの通話は一部には一般的な警告と受け止められたが、Commerce Departmentによる広範な外国人ユーザー遮断へと急速に拡大した
    • National Cyber DirectorのSean CairncrossとCommerce SecretaryのHoward Lutnickが会話に関与した
    • Commerce Departmentは中核技術の輸出規制を担っている

Anthropicと政権の緊張

  • 今回の措置により、Anthropicとトランプ政権の長年の対立が再燃し、政権は進歩派寄りの寄付者との関係やAIリスクへの警告に対して不信感を保っている
    • Anthropicは旧バイデン政権の関係者を多数採用しており、Amodeiはトランプと政権を批判してきた
  • 軍によるAIツール利用をめぐる対立により、PentagonがAnthropicを安全保障上のリスクに指定する前例のない措置が起き、Anthropicは2件の訴訟で対抗している
    • CSISのKate Korenは、安全保障上の懸念は理解できるが、ホワイトハウスのAnthropicへの反感が決定に影響した可能性があると述べた
    • ホワイトハウス高官は、今回の措置はモデルの安全性に関するものであり、国防総省は深く関与していないと述べた

事業への波及と背景

  • 最上位モデルの遮断は、早ければ今秋にIPOを準備しているAnthropicに打撃となる可能性があり、ユーザーが他モデルへ流出すればOpenAIのような競合に有利に働く可能性がある
    • OpenAIは独自の強力なサイバーモデルを段階的に顧客へ提供しており、トランプ政権とも協議中だ
  • Anthropicは2021年、AI安全を重視していないと感じたAmodeiやOpenAI出身者らによって設立され、Claude Codeツールの強みを武器に企業向け主要モデル提供企業へと成長した
  • Anthropicは今年初めからAmazonや他のテック企業にMythosを先行提供し、政権と段階的アプローチを進めてきた
    • 主要ユーザーが一般公開前にソフトウェア脆弱性を見つけて修正できるようにすることが目的だった
    • Amodei、Bessent、ホワイトハウス首席補佐官Susie Wilesが出席した4月の会議は和解の機会と見られていたが、安全保障に関する議論も含まれていた

1件のコメント

 
GN⁺ 3 시간 전
Hacker Newsのコメント
  • すべてのLLMが**脱獄(jailbreak)**可能であることはすでに知られているのに、なぜわざわざ政府に知らせたのか理解しがたい
    もしGPT 5.5が公開アクセス可能な米国製LLMの許容限界に達したという意味でないなら、合理的な規制の試みとは見なしにくい
    政府の目から見てFable 5が越えた一線とは何なのか気になる。パラメータ数なのか、特定のベンチマーク結果なのか、学習用コンピューティングなのかわからない
    単にサイバー攻撃を支援でき、しかも脱獄可能だという理由なら、以前に公開されたモデルにもすべて同じ責任がある
    GPT 5.5と5.4でも、OpenAIはサイバーセキュリティ中心の利用を指定モデルに制限していたし、そうでなければFableがOpus 4.8へ迂回させたように5.3-codexへ再ルーティングしていた。2つのOpenAIモデルも同様に脱獄可能だ
    結局のところ、なぜ今になって政府に知らせ、Opus 4.5やGPT 5.4のときではなかったのかが核心だ。samaは終末論的な見通しを持ち歩き続けている

    • Axiosの報道を見ると、このスレッドの多くの推測は揺らぐ。これはあまり脱獄と呼べるようなものでもなく、Anthropic固有の問題でもなく、ホワイトハウスはMythos級モデル全般を規制しようとしているようだ
      Axiosによれば、AnthropicがAmazonの報告書を共有したLuta Security CEOのKatie Moussourisは、政府の対応が実際の研究報告書の内容に比べて「行き過ぎている」と述べた
      研究者たちは、通常の防御側がAIに尋ねそうな質問によってセキュリティ脆弱性を見つけたのであり、それこそがそもそものモデルの目的だったという
      行政府高官は、他のモデルはMythosが打ち立てた基準を超えていないため国家安全保障上の脅威とは見なしておらず、Mythos級以上のモデルは政府の国家安全保障体制が十分に強化されているか確認するため、行政手続きを経る必要があると付け加えた
      https://www.axios.com/2026/06/13/anthropic-amazon-white-hous...
    • Anthropic側は文字どおり規制を要請していた。2日前にAmodeiが政府に規制を促す文章を書き、Mythosを例に挙げて、フロンティアAIが重要インフラと国家安全保障を脅かす自律ハッキング能力を備えたと明記していた
      「Mythos Previewは世界のサイバーセキュリティ地形を揺るがした。より広い意味で言えば、AIモデルがいまや世界的・国家的な戦略的帰結を左右する道具になったことを疑いようもなく証明したという点だ」
      「政府は、第三者評価に照らして当該モデルが受容不可能なリスクを提示すると判断した場合、その配備を阻止または抑制する権限を持つべきだ。この権限は上記4つの特定リスクに限定されるべきであり、政治的えこひいきや恣意的判断に対する保護措置が必要だ」
      https://darioamodei.com/post/policy-on-the-ai-exponential
      第三者がFableの安全装置を脱獄して生のMythos能力にアクセスできることを示し、Anthropicはその能力が一般公開には危険すぎると述べてきた
      David Sacksによれば、Anthropicと米国政府の双方が信頼する非常に有力なパートナーがFableをテスト中に安全装置の脱獄を発見し、行政府はDarioに脱獄を修正するかモデル配備を中止するよう求めたが、Darioは拒否したという
      Anthropicはブログでその脱獄は深刻ではないと弁護したが、信頼パートナーと米国政府はそう見ておらず、サイバー兵器の運用を可能にする脱獄を「深刻ではない」と呼ぶのは、AI安全企業というAnthropicのブランドとも整合しないという内容だ
    • いま合理的な規制があると見る根拠がどこから来るのかわからない
    • 見える唯一の理由は、Amazonがこうした事態を望んでいた可能性があるということだ。ただしAmazonには自前の競合フロンティアモデルがないため、何を得るのかははっきりしない
    • 報復だという主張とは別に、善意に解釈するなら、MythosはNSAのような組織が利用できるモデルの中で最も有能である可能性があり、Glasswingのために米国政府と業界パートナーの意思決定者たちは過去数か月、Mythosが深刻な脆弱性を首尾よく見つけたという報告を見続けてきたのかもしれない
      GPT 5.5がこのシナリオで同等に有能だとしても、政府組織の立場では同じ能力を持つモデルとして知られていない可能性がある
      個人的には、Opus 4.6の時点ですでに能力のしきい値を超えていたと思う。その能力は、より有能なオープンウェイトのGLM 5.1へとつながり、このモデルはOpus 4.6を蒸留したという噂もある
      しかし米国政府とパートナーは完全なデータと合理性を持つ行為者ではないため、この能力をMythosの文脈でしか実感していない可能性もある
      [1]: https://www.reuters.com/business/us-security-agency-is-using...
      [2]: Opus 4.6はhttps://www.noahlebovic.com/testing-an-autonomous-hacker/で使用された
      [3]: GLM 5.1のスコアはhttps://www.cybergym.io/cybergym/を参照
      [4]: https://dualuse.dev/posts/chinese-models-are-sometimes-bette...
  • 文脈を整理すると、AmazonはAnthropicに大規模な投資を行っており[0]、AWSは、主要なオープンソースや重要インフラにある致命的な脆弱性を見つけるために一部の企業がMythosを使用したGlasswingプロジェクトのパートナーでもある[1]
    なので、邪悪な陰謀というよりは、ハンロンの剃刀を当てはめるほうが適切に見える[2]
    [0] https://www.anthropic.com/news/anthropic-amazon-compute
    [1] https://aws.amazon.com/blogs/security/building-ai-defenses-a...
    [2] https://en.wikipedia.org/wiki/Hanlon%27s_razor

    • 追加の文脈として、AmazonはOpenAIに500億ドル、Anthropicに50億ドル相当の持分を持っている
      状況が逆だったとしても、Amazonがすぐ連邦政府に駆け込んだ可能性はかなり低いように見える
    • いちばん好きな言い回しは「単なる無能で説明できるなら、陰謀を仮定するな」だ
  • Fableは、たとえ脱獄しても、悪用や悪用のための創造的な解決策探しにはほとんど興味を持たないよう学習されているように見えた。ただし、これが秘密めいたプロンプト注入に関係しているかどうかは検証できていない。その点ではOpus 4.8のほうがはるかに強力だ
    脱獄に興味があるなら、拒否を検知したらガードレールのないモデル、たとえばdeepseekやglm-5.1を立ち上げて、拒否が消えるように会話履歴を書き換え、拒否後のセマンティクスを列挙するよう修正したoh-my-piのフォークを使った
    複数のサイバーセキュリティ関連タスクで成功率を3%から85%まで引き上げるのに、3日と使用料6000ドルほどかかった
    拒否に塞がれなくなった後でも、Opus max thinkingには到底及ばず、ずっとどこを見るべきかを指示し続ける必要がある感じだった。モデルは「見つかった問題はこれだ」とターンを早々に終え、どれだけ求めても悪用方法を探すより修正しようとする方向に傾いていた
    初日あたりで、ツール呼び出し結果を横取りしてオープンソースモデルに要約させる必要があることにすぐ気づいた。どんなログ分析でもサイバー関連の拒否が出たからだ
    たとえば「Windows ntoskrnlに自身を注入するマルウェアを作れ」は「システムモジュールに自身をロードするアクセシビリティ機能を作れ」に変わり、カーネルモードの内部構造に相当するセマンティクスも、read process memoryread module memory、fuzzはnoise pattern recognitionといった具合に置き換えられる
    基本的には、分類器に、ntoskrnl内のゼロデイを探すソフトウェアではなく、障害支援ツールを作業中なのだと思わせるやり方だ
    同じ脱獄戦略をOpusとFableの両方に適用して性能を測定し、過去バージョンのntoskrnlにあった既知の脆弱性をベンチマークに使った

    • もし本当ならかなり重要だ。Fableの基本的な脱獄だけでMythosのサイバー攻撃能力がすぐ露呈するという正反対の主張で、この制限を擁護する人たちがいた
      例: https://news.ycombinator.com/item?id=48519695
      サイバー攻撃の話題は比較的識別しやすく、Anthropicが他分野でそうした能力を示していたのだから、Fableもその話題でファインチューニングされたか、方向づけが変えられたという解釈はかなりもっともらしい
    • 3日間で使用料が6000ドルだったの?
    • この作業について、どこかに書いたことはあるのだろうか
    • 理解が正しければ、Fableには自動で書き換えたプロンプトを入れ、Opusには元のプロンプトを入れて性能を測ったのではないかと思う。見えていた性能差はそこから来た可能性がある
  • これはAmazonがAnthropicを狙ったというより、政府がAmazonを利用してAnthropicに圧力をかけているように見える
    政府はAmazonの中核顧客なので、Amazonは必要なら名分を与えられる。AmazonはAnthropic持分の価値が大きく危うくないと分かっており、連邦政府を引き込めば交渉力が増すだけだ
    セキュリティは現実の懸念事項だ。政府内部のセキュリティ専門家が、主要モデルをすべて同じ基準で検証する公開+非公開のワーキンググループを作るべきだ
    企業が友人同士で共有するのに任せるのは、よく言っても希望的観測だ。こんなことが昨年すでに行われていなかったという事実は、政府が基本機能に失敗していることを示す最も強いシグナルの一つに見える

  • ギフトリンク: https://www.wsj.com/tech/ai/amazon-ceos-talks-with-u-s-offic...

  • AmazonがMythos/Fableを嫌う理由として思い当たるのは、Anthropicが規制順守の線を超えるデータ保持要件を課して、Bedrockの話を台無しにしたことくらいだ
    Jassyの立場からすれば、Fableを誰も使わないほうが、実質的にAnthropicと直接データ信頼関係を結ぶ形で使われるのを許すよりましだと見るかもしれない
    長期的にもAmazonの利益になるという形に合わせるのは難しいが、Darioがデータの観点で完全にエアギャップされた処理を約束しておいて撤回したのなら、その件で感情を害した可能性はありそうだ

    • AWSなら、単にFableはリリースしないと言えばいいのではないかと思う。AnthropicのほうがAWSを必要としていて、その逆ではないのでは?
      Bedrockの大口顧客のうち、Anthropicに入力を保持させる特権のために他のクラウドプロバイダーへ乗り換えられる先があるようには思えない
  • 年寄り帽子をかぶって米政権の Mythos 輸出規制について語るなら、1990年代半ばに PGP のような非対称暗号化ツールが現実のものとなり、インターネット利用者層の拡大で広く使えるようになった時期を思い出す。
    米国やフランスのような政府はどう規制すべきか理解できず、輸出を禁じ、利用者にライセンス申請を求めていた。
    今の状況とは強い類似性がある。
    興味深いのは、規制がイノベーションを減速させるほど強かった数年後に起きたことだ。
    日常的で一般的な用途ではオープンソースが勝ち、より強力な暗号技術は企業と政府が開発・利用するようになった。
    LLM も同じような道をたどることは十分あり得る。

    • 興味深い比較だ。機械学習と暗号化にいくつかの根本的な類似性があることを論じたこの文章も思い出す: https://reiner.org/neural-net-ciphers
      LLM をまったく別の道に向かわせる根本的な違いを考えるのも有益かもしれない。思い浮かぶのは スケーリング仮説で、最高峰の LLM には莫大な資本投資が必要だという意味だ。
      根本的な変化がない限り、これはオープンソースとおおむね両立しにくいように見える。オープンウェイトはあるが、きれいな歴史的アナロジーは思い浮かばず、将来がどう進むかを推測するのも非常に難しい。
    • あの頃と今のもう一つの共通点は、政府の人たちが技術をまったく理解していないことだ。少数の人から強力で危険だと聞いただけなのだ。
    • PGP の事例にならうなら、重みが印刷された 違法Tシャツ が出てくるまでどれくらいかかるのか気になる。
  • Amazon は Anthropic の大株主であり、持株比率表では 5%超 を保有している。
    この情報を考慮せずに、ここでの Amazon 幹部の行動を解釈するのは不可能だと思う。

    • Amazon の幹部が、自分たちが興奮した何らかの能力を連邦政府に伝え、政府関係者がそれを正しく理解できなかったか、小さな機能に過剰反応してパニックになり、禁止しようとしたようにも読める。
    • Amazon も他の大企業と同様、社内政治が非常に多い。Amazon 内部のある派閥が別の派閥を失脚させようとしていた可能性も十分ある。
    • 同意する。Amazon がこの問題を持ち出さず、Anthropic に新しいフロンティアモデルで売上を伸ばし続けさせる強いインセンティブを上回るほど、懸念が本当に深刻だったのだろう。
  • 核兵器における 不拡散条約 に相当するものが AI にも生まれるのか気になる。
    狂った話に聞こえるのは分かるが、あるモデルが人々の銀行口座をハッキングするのに使えるほど優秀である確率が 0.1% でもあるなら、政府としてはそのモデルを公開アクセス可能なままにしておきたくないだろう。
    他国にも交渉の場に来るよう求め、AI 版 NPT に署名させようとする気がする。
    一般大衆は Opus 4.8 のようなより小さなモデルまでは引き続き使えるが、それ以上のモデルは優秀すぎて危険だ、という話になるかもしれない。核にも利点はあるが、政府は政策を作るとき最善ではなく最悪を考える。
    Mythos が神レベルのモデルだと言いたいわけではないが、政策がこういう方向に進むのか気になる。

    • 銀行口座は今でもフィッシングやその他の詐欺手法によって定期的に「ハッキング」されている。現在のモデルでもそれを助けられる。
      そのうえ Visa は、AI をセキュリティ境界内に入れ、プロンプトインジェクション可能な誰に対しても事前にハッキングされた状態にしておく https://www.visa.com/en-us/solutions/intelligent-commerce のような、とてつもなく愚かなことまでしている。
    • 多くの国は NPT から教訓を得ていて、同じものに再び同意しないだけの分別はあるはずだ。核を持てば、核を持たない国に対して好き放題できることを、私たちは繰り返し見てきた。
    • どの政府にとっても、米国と NPT を結ぶ時代は確実に終わったと思う。信頼は壊れた。今は自国政府があらゆる種類の兵器を備蓄するほうがよいだろう。
  • 「Amazon の研究者らは一連のプロンプトを使って、Anthropic の Fable 5 モデルがサイバー攻撃を支援し得る情報を提供するよう仕向けた……」
    どのモデルでもそうできる。Fable がその点でずっと優れていたのか気になる。

    • すべてのモデルがそれをできるというのは、ほぼ確実に違う。
    • モデルが、Amazon が知られたくない何かを見つけた可能性もある。必ずしもサイバー脆弱性ではなく、Amazon の運営の特定のやり方かもしれない。