このFable案件に落ちる巨大な影
(12gramsofcarbon.com)- 強力なAIモデルである Fable 5 と Mythos 5 は、米国政府の輸出管理命令を受け、すべての顧客アクセスが突然停止された
- 米政府の命令は、米国内外を問わず 外国籍者 と Anthropic の外国籍従業員までアクセス遮断の対象に含め、Anthropic は順守のため全面的にアクセスを停止した
- Anthropic は、政府が特定の 脱獄（jailbreak） 回避を問題視したとしているが、実演された脆弱性はすでに知られている少数の軽微な脆弱性にすぎず、他の公開モデルでも見つかるとみている
- 今回の措置は、AI安全規制なのか、Anthropic を狙った政治的・競争的圧力なのかを判別しにくくし、政府判断の 信頼性の問題 を拡大させている
- 強力なLLMへの公開アクセスが政府統制で制限される前例が生まれ、今後は一般利用者が最高性能のモデルを使いにくくなるのではないかという懸念につながっている
金曜夕方に途切れたモデルアクセス
- 金曜の夕方、AIエージェントでHTMLゲームを作っていたところ、エージェントが「このモデルはもう存在しない」と応答し、作業が中断された
- 当初は再ログインの問題か、並列エージェント利用に伴う奇妙な制限エラーだと考え、API に切り替えたが、それでもアクセスできなかった
- チームが作成したカスタム Rust エージェントクライアント のハーネス（harness）が壊れたのではないかと疑って Rust コードを見ていたところ、友人から政府が Fable を禁止したと聞かされた
政府によるアクセス遮断命令
- 米国政府は 国家安全保障権限 を根拠に輸出管理命令を出し、Fable 5 と Mythos 5 へのすべての外国籍者のアクセス停止を要求 した
- 対象は米国内外を問わないすべての外国籍者で、外国籍の Anthropic 従業員 まで含まれる
- これに従うため Anthropic は、すべての顧客向けに Fable 5 と Mythos 5 を即時無効化し、Anthropic の他のすべてのモデルへのアクセスには影響がないとした
- 命令は当日 午後5時21分（ET） に受領され、書簡には具体的な安全保障上の懸念は記されていなかった
Anthropic の公式見解
- 政府は Fable 5 の脱獄（jailbreaking） 回避手法を認識したものと理解しており、その実演を検討した結果、すでに知られている少数の軽微な脆弱性の特定にとどまるとした
- これらの脆弱性は比較的単純で、回避を行わなくても他の公開モデルでも同様に見つけられるという
- 命令の根拠とみられる報告書を確認し、その能力水準が OpenAI GPT-5.5 など他のモデル でも広く提供されており、セキュリティ防御側が日常的に活用しているレベルであることを検証し、24時間以内に追加情報を共有するとした
- 法的命令には従う一方で、限定的な潜在的脱獄の発見が、数億人に配布された商用モデルの回収 の理由になってはならないという反対の立場を示した
AI安全性と最適化への懸念
- AI に対する立場は両義的であり、深層学習モデルを多く訓練してきた経験から、最適化ツール が誤作動しうるあり方に強い懸念を抱いている
- 人は実際に達成したい目標ではなく、測定可能な指標を最適化しがちな傾向がある
- 良い製品を作りたくても方法が分からないためにエンゲージメントを最適化したり、子どもに読み書きを教えたくても試験の点数を最適化したりする、といった問題が起きる
- AGI や ASI システムは最適化ツールであり、測定可能なものを最適化する過程で本当に良いものから離れてしまう可能性があり、予測しづらい危険を持ちうる
- 企業も最適化ツールのように振る舞うため、多くの開発者が危険を語っている状況でも、測定しやすい目標である迅速な収益化へ進んでしまうことがある
政府と Anthropic の対立の背景
- Anthropic と現政権は友好的とは言えない関係にあり、DoD 統合や軍との協力を進め、同社モデルが高度機密システムで使われたこともある
- それにもかかわらず Trump 政権は Anthropic を サプライチェーンリスク（supply chain risk） と規定し、政府協力主体による Anthropic モデルの使用を禁止した
- その後の6か月間、ベネズエラ戦争、イラン戦争などの軍事作戦で Anthropic モデルは引き続き使われ、中国の LLM はサプライチェーンリスクにすら指定されていない
- 一部の極右陣営は、政権が Anthropic を破壊しようとしているとして、Anthropic を「woke」だと規定 する論理を展開している
- 今回の措置が有害AI規制を目的としたものなのか、それとも 文化的に敵視する対象へ打撃 を与える好機なのかという疑問が提起されている
競争環境と IPO のタイミング
- 競合他社は政権全体に友好的な勢力を持っており、例として Kushner 家が OpenAI に大規模投資 している
- 今回の措置は、他の研究所が Anthropic に打撃を与える機会として解釈することもできる
- Fable は非常に強力なモデルと評価されており、Anthropic の IPO 間近 という時点で消費者利用が止められたのは意味深だ
- 戦利品政治（spoils system）はあらゆる事柄の optics を疑わしくし、何十年もかけて築かれた信頼が崩れたと指摘している
金曜5時21分の発表と市場の懸念
- 発表時刻が 金曜午後5時21分 だった点は、不審なタイミングに見える
- 金曜夕方の発表は、週末のあいだに市場ショックが吸収されることを期待して悪い知らせを出すやり方だと理解されている
- Claude が引用した The Kobeissi Letter の事例には、金曜の取引終了後や土曜未明に出された地政学・貿易関連の発表が含まれている
- 例として、イラン核施設への攻撃、カリブ海の麻薬運搬船に対する軍事行動、中国への100%関税の威嚇、ベネズエラ領空の閉鎖、ナイジェリアでの軍事行動、2026年2月のイラン直接攻撃が挙げられる
- 2025年8月11日の Intel 取引発表も、CEO の Lip-Bu Tan に対する公的圧力の後に取引時間外へ配置された企業関連事例として並べられている
- AI ブームは、コンピューター知能に対する持続的需要があるという考えに大きく依存している
- 負債、構築投資、データセンター、GPU、メモリ、ディスク、サーバーラックに至る AI チェーン全体の株式市場上昇は、数兆ドル規模の価値が生まれるという前提に依存している
- 政府がある瞬間にすべてのアクセスを一方的に断てるという認識は、複数兆ドル規模のデータセンター投資にとって大きな障害になりうる
- HN と Reddit の一部利用者は、今回の件を、政府が人々にアクセスを許すモデル能力の上限として見ている
- 政府が認めなければ、どれほど需要が大きくてもアクセスできないという問題が残る
コミュニティの反応と「危険なモデル」マーケティングの逆風
- HN と Reddit の一部利用者は、Anthropic が Mythos 関連の マーケティングショー の代償を払ったとして喜んでいる
- 過去には OpenAI も GPT-2 を「公開するには危険すぎる」として限定公開し、当時は大規模な欺瞞的・偏向的・悪用可能な言語生成への懸念を理由に挙げていた
- GPT-2 以後、AI 生成の低品質コンテンツがあふれ、現実を共同で理解する能力が揺らいだという点で、OpenAI の懸念はかなり的確だったと見ている
- Fable が実際に強力なモデルだと信じており、Fable の広範な公開にセキュリティ上の危険があるという Anthropic の主張もある程度は信頼している
- 関連 HN スレッドの最上位コメントでは、Anthropic が自社モデルを他社よりはるか先行しているものとして売り込むために恐怖を煽った代償を払うことになった、という反応が示されていた
- 政府の立場を額面どおり受け取るなら、Anthropic のモデルは優秀すぎて文字どおり使えないモデルになったことになり、むしろ強力な宣伝になりうる
- 別の HN コメント では、製品がどれほど危険かを長く語っていれば、危険な製品を市場から排除する権限を持つ人々がその話を聞くことになる、と指摘している
- Bernie Sanders は、AI CEO たちの発言を読み上げる政策動画を作り、AI の危険性を強調する議員として描かれている
- AI モデルが本当に安全でなく規制が必要なのかもしれないが、停止リスクを知った AI CEO たちは今後そうした発言をしなくなる可能性がある
強力な LLM へのアクセス制限という前例
- 最後に引用された HN コメント は、今回の事件の核心は、政府が強力な LLM への大衆アクセスを制限し始めたことかもしれない、という見方を示している
- そのコメントは Fable を市場で最も強力なモデルと見ており、米政府は原則として非米国市民だけを禁止したものの、実際には米国市民も使えなくなったとみている
- オープンソースの中国モデルや自前ハードウェア実行が解決策だという考えも、再考が必要だという立場だ
- 米政府が最強の米国製モデルを止める状況では、中国が1年後に Mythos 級の能力を持つ自国企業の最強 LLM をオープンソースとして許可する可能性は低いと見ている
- 強力な LLM は 強力なサイバーセキュリティ兵器 の方向へ進んでおり、国民国家はそれを制限・統制する利害を持つようになる
- 2年後に最強の LLM が一般用途向けに提供されていたら驚くだろう
- 強力な LLM の制限が人々をより貧しくするのか、より安全にするのかは定かでないが、今回の出来事は 前例が生まれた重大な分岐点 だ
3件のコメント
まずは全部読んでおく必要がありそうですね
ああ..
Hacker Newsのコメント
AIツールのおかげで「Flashゲーム」ルネサンスが戻ってくるかもしれない、という考えは理解できるが、aigamedevサブレディットで人々が作ったゲームをいろいろ遊んでみた結果、かなりがっかりした
ゲームデザインは習得が難しい芸術であり、LLMが大きく助けられる領域ではないように思う
こうしたゲームが「面白い」というのは、幼児の絵が「美しい」と言われるのに似ているように見えるし、コード生成に使う25ドル以上があるなら、もっと良いインディーゲームをたくさん買える
優れたゲームデザインという芸術はディテールに宿っているが、英語だけではキャンバス上の一筆一筆を伝えるには不十分だ
そのサブレディットで何が作られているのか見ようと思って入ってみたが、自分もあまり感銘を受けなかった
LLMで退屈なコーディングを補助しつつ、短い手綱を保って創造的な部分は自分でやる開発者も多いはずだ
昔から、コーディングを嫌い、アイデアを世に出すための必須ステップとしか見ていないインディー開発者はいたし、それでも良いゲームを作っていた
Undertaleのすべての台詞は、5,000行を超える巨大な
switch文で実装されているBoxhead、Motherload、Bloonsのようなゲームを見つけるには、ゴミの山を掘り返さなければならなかった
ここでは量が重要だと思う
優れたゲームデザイナーになるのに優れたプログラマーである必要はないが、以前は始めるためにプログラミングが前提条件だった
ゲームにAIツールを適用することの美しさは後者、つまりゲームデザインだけに集中できる点にあり、時間がたてば宝石のような作品が上に浮かび上がってくるだろう
以前にFlashゲームを4本出したが、2本は完全に失敗し、1本はまあまあで、1本はかなりうまくいった
累計プレイ時間は数百年分に達した
きちんと作るにはやることが多く、あらゆるソフトウェアと同じくターゲット市場に合わせて作らなければならない
面白く没入感のあるコアループを作るのに簡単なAI解決策はなく、適切な複雑さと学習曲線をバランスよく設計する解決策もない
コーディングができない、あるいはしない多くの人が自分をゲームデザイナーだと思い、AIがゲームを作れるようにしてくれると期待していたが、結局のところ核心はコードではなかったと気づきつつあるようだ
そのうえ、コーディングができないなら、バイブコーディングだけではまだFlash級ゲームを超える多くのものを作るには不十分だ
いくつもの下位分野でかなりプログラミングしてきたが、それでもなおAIが突破するのが最も難しい分野に感じられる
産出速度を上げるツールとしてはたしかに驚異的だが、全体として製品化するのはAIにとって最も難しい領域になる気がする
投稿者は、OpenAIがGPT-2のときに「公開するには危険すぎる」というマーケティング手法を使ったとして、両陣営ともこのカードを切ったと見ているが、当時DarioはOpenAIにいて、GPT-2研究論文の共著者だった
「公開するには危険すぎる」というアプローチは、両社においてその人物が継続してやってきたことに近い
2019年の元の公開文でも、誤解を招くニュース記事の生成、オンラインでのなりすまし、ソーシャルメディア向けの虐待的・偽コンテンツの自動生成、スパムやフィッシング用コンテンツの自動生成といった悪用可能性が挙げられていた
合成画像・音声・動画の出力とあわせて、この種の技術は偽コンテンツや偽情報キャンペーンのコストを下げ、一般の人々はオンラインのテキストについてもディープフェイク画像と同じように、より疑ってかかる必要があるとしていた
だから慎重に配布するとしていたのだ
https://openai.com/index/better-language-models/
嘘や偽情報から、治療や人間関係の代わりにチャットボットを選ぶ人々に至るまで、社会的影響は深刻で、今後さらに悪化するだろう
AIが落ちたときでも何とかできるだけの十分な能力を持つジュニアプログラマーを見つけることは気が滅入るほど難しく、今後はさらに悪くなりそうだ
「児童性的虐待コンテンツの生成禁止」「陳述は事実または証拠に基づくべき」といった重要な安全機能は、そもそもこれらのシステムの設計に組み込まれておらず、今に至るまできちんと解決されていないのに、AI企業は明白な欠陥を抱えたまま一般公開した
AIのもっともらしいでたらめを生成する能力や、不思議なおもちゃのような面は好きだが、これまでは人を解雇し、コンピューターに仕事を半ばめちゃくちゃにやらせて利益を得る最も裕福な少数にしか純利益がなく、残りの人々にとっては純損失だったと思う
今となっては手遅れだが、振り返れば、この形では公開するには危険すぎたという点には同意する
Hacker Newsの過剰な懐疑主義が、合理的なAI議論を台無しにしている
米国政府はAIの統制権を巡る争いを拡大する中で、Anthropicに対して不器用で腐敗し、懲罰的な形で国家権力を武器化した
それなのにHNは「マーケティングの誇張」だけを唯一の説明として固定し、あらゆる証拠をますます無理のある説明に当てはめている
AIは仕事、地位、信念、生活様式を脅かしている
HNではこの真実を信じるより、それが絶対に事実であるはずがないという合理化を作るほうが簡単なようだ
世界がかなり奇妙な方向に変わろうとしていることを受け入れ、実際の問題を分析しようとする人たちには感謝している
安全な公開ウェブ決済転送の明確な解決策としてSSLが定着しつつあった時期に、米国はSSLを禁止しかけた
経済的圧力、代替手段の不在、多くの反対のおかげで道は開かれたようだが、その時も「国益と安全保障」というたわごとが持ち出された
今回の大きな違いは、Fable/Mythosがなくても何もできないわけではないという点だ
ここには魔法のような境界線はなく、介入を減らした接続作業の改善があるだけだ
それでもこれが維持されれば、米国のAI開発に巨大な冷却効果を生み、他の研究所は結局Fable/Mythosの性能を迂回して追いつくだろう
自動車の比喩で言えば、モデルはV6からV8へ進むエンジン改良のように作られているが、他の組織は空気抵抗や燃料噴射を改善して似たような速度向上を出せる
全体の連鎖のあちこちに改善の余地があるため、こうした措置は無意味だ
この政権とAnthropicの荒っぽいやり方を見ると、1週間以内に何らかの「取引」で終わり、高リスク交渉の一部だったように見える
むしろAnthropicに有利かもしれないが、甘い合意が成立したらOpenAIはどこに置かれるのか
前例はすでにできてしまった
私のような大半のナードは、高校や大学の頃にそうした尖った態度は卒業した
現実には、そうした態度はあらゆるものを最も暗いレンズでしか見られなくするだけだ
人々が悪いものを読み、悪い考えを広めるだろうと言っていて、実際そうなったが、全体としては識字の普及のために払う価値のある小さな代償だった
100%宣伝手法だと言うつもりはないが、Anthropicは人々にこの事実を本当に知ってほしいようだ
「Anthropicはマーケティング用の騒ぎを起こしているだけ」「AIはNFTと同じだ」「循環取引だ」「バブルはすぐ弾ける」「誇張論者たちが詐欺師のように素早く逃げようとして株式市場を支えている」などと言っている
最後の表現は、彼らの使う用語に無理やり合わせようとしてでっち上げたものだ
核心的な問題は、AIが私たちのような普通の人にそのまま持たせるには強力になりすぎていることにある
それでもなお全部誇張だと信じているなら、本当の問題から目をそらしている状態だ
いずれこうしたレトリックは消え、実際の問題に集中するようになる気がする
Anthropicの競合他社が政権のあちこちに友人を持っていて、たとえばKushner側がOpenAIに大きく投資しているという話は、核心でもあり無関係でもある
「安全保障」は明らかに口実に近く、本当に安全保障が理由なら要求が外国籍者だけに限定されることはなかったはずだ
どの米国政権も、すべての米国籍者を信頼したことなどない
しかし制限理由そのものはほとんど重要ではない
こうしたことが起きたという事実は、EUがデジタル主権を言葉だけでなく、実際の予算と努力をもって真剣に受け止めるべき最後の警鐘であるはずだ
現時点でEUがその方向に舵を切る可能性は低そうに見える
罵倒が多く、イデオロギー的に偏った低品質の不平文で、Hacker Newsにはふさわしくない文章に見える
この措置は、Opus 4.8より優れたAIモデルの企業市場全体を殺す
官僚や悪意ある政治家が基盤知能を即座に奪い取れるようなワークフローや能力を構築する企業はないだろう
たとえどこかの企業がそのリスクを取るほど愚かだとしても、Anthropicはすべての企業顧客に全従業員のパスポート提出を求め、Mythosアクセスを制御するために各従業員ごとのClaudeアカウントを作らせるのか
単純なAPIキーではもはや十分ではなくなる
タイミングも金曜の場が引ける頃の「暴落を避けよう」という瞬間と重なっていて、月曜にどう流れるか見なければならない
他の返信が言うように、政府とAnthropicの間でひざまずかせる動きでもある
OpenAIが追いつき、Anthropicも弁護士を付ければ、おそらく覆るか、「モデルは米国AI承認の認証印を受けなければならず、したがって新しい米国検証済みFable 5.1を承認する」といった形に変形されるだろう
その時点はDoD、Pentagon、関連機関への大規模配備の時期と重なる可能性が高い
あるいは中国が追いつくのだから馬鹿げている、という流れになるだろう
その種の禁止から安全なモデルはない
よく非難されるEU AI Actは、AI開発の基盤にできる安全で予測可能な規制の枠組みを提供している
米国政権の予測不能で恣意的な決定に比べれば、法的安定性を与える
AI企業に少しでも分別があるなら、欧州移転を検討したほうがよい
Fableに過剰と言えるほどのセキュリティプロトコルが導入されていたことを考えると、この件は非常に胡散臭い
米国政府が経済への影響力を行使しつつ、Anthropicに対してIPOはひざまずくかどうか次第だというシグナルを送っている
この数か月で、AnthropicよりもOpenAIのほうをはるかに信頼するようになった。
Dario Amodeiの文章を行間まで読めば、彼はASIを人類のための完全で誤りのない統治者だと信じる独断的な信奉者であり、かなり極端なアメリカ民族主義者のように見える。
会社も同じように、イデオロギー的に一列に並んでいるように見える。
彼らが自分たちとイデオロギー的に整合していると信じる暴走ASIを許容したり、意図的に作り出したりする可能性すら想像できる。
OpenAIは全体として、より独断的でなく、より実務志向に見える。
特別に良い会社という意味ではないが、少なくとも普通の会社がどう振る舞うかは予測できる。
ましてや、数百万、数十億ドルの誘因がかかっている人たちならなおさらだ。
相続問題で自分の家族に何をするかも見てきただろうに、それでもOpenAIを「信頼」するのか。
「誰が世間知らずなんだ、Kay？」 - Godfather
数週間前にも同じ点を書いたし https://news.ycombinator.com/item?id=48341224、最近のブログ記事を見れば残っている疑いも完全に消えるだろう。
ここが、政府が人々にアクセスを「許可」できる限界点になるかもしれない、という話がHNやRedditですでに出ている。
需要がどれだけ多くても、政府が与えなければ何の役にも立たない。
闇市場LLMはWilliam Gibsonの小説からそのまま飛び出してきたような設定だ。
要約がよく、読みながら強力な暗号化をめぐる議論を思い出した。
「私たちは実際に達成したいものではなく、測定できるものを最適化する。両者が同じであってほしいが、しばしばそうではない」という一文は、LLMの核心的な問題を突いている。
モデルがすべての人とすべての意図に対して安全にアラインされることを保証するのは、不可能か、あるいは極めて高コストだと思う。
しかも「安全」は、対象によって異なる意味を持ちうる。