私がGoogle DeepMindを去った理由
(turntrout.com)- Google DeepMindの研究科学者だったAlexander Matt Turnerは、GoogleがDHS・ICEにクラウドサービスを提供し、米国防総省と自律型致死兵器・大規模AIプロファイリングを法的拘束力をもって禁止していない契約を結んだことを受け、良心上とどまることはできないとして退職した
- 米国防総省がAnthropicに既存の制限をなくした**「あらゆる合法的用途」契約**を求めると、TurnerはIASEAIと著名なAI研究者たちに共同対応を要請し、Google社内で約250人の署名とJeff Deanの法廷意見書への参加を引き出した
- 人間が武力行使を統制し、非標的型AIプロファイリングを禁止する25ページの契約・監督フレームワークを作成したが、Demis Hassabisがレビューを指示した後も、上級政策担当者による評価は受けられなかった
- Googleは2026年4月、米国防総省がGeminiの安全設定の変更を要求でき、Googleは合法的な政府運用を拒否できない契約を締結した。自律兵器と国内の大規模監視を避けるべきだという文言には法的拘束力がなかった
- 個人の倫理的約束や経営陣への信頼だけでは、圧力の中で原則を守れないため、事前制限・独立レビュー・透明性を備えた低信頼ベースのガバナンスが必要だと判断した
DHS・ICEのサプライチェーンから始まった問題意識
- 2026年1月、DHS職員が少なくとも2人を殺害した事件をきっかけに、TurnerはGoogleと移民取締機関の関係を調査した
- DHSの2025 AI Use Case Inventoryは、DHSの運用効率向上に使われる生成AIプロバイダーの1つとしてGoogleを記載している
- GoogleはITC Federalのような第三者を通じて、ICEにクラウドサービスを販売している
- Googleの他の行為も問題視した
- 2025年10月3日、ICEの活動を警告するアプリをリストから削除した
- 学生デモ参加者のアカウントを事前通知なしにICEへ引き渡し、政府に情報を開示する前にメールを送るというサービス上の約束を破った
- Googleは、移民取締機関が商用クラウドサービスを利用しただけだと回答したが、Turnerが問題にした点は、特別なサービスを提供したかどうかではなく、ICEにサービスを提供したという事実だった
- すでに大規模な請願は無視されており、座り込み・ストライキ・大量退職も実現可能性と効果が低いと判断した
- AI業界では代替しにくい少数の人材が組織に大きな影響を与えるため、無作為に選んだ研究エンジニア100人よりも中核人材10人、あるいはJeff Dean 1人が離脱する可能性のほうが、経営陣にとってより大きなコストになり得ると見た
Jeff Deanとの最初の接触
- Jeff DeanはGoogleの30番目の社員でChief Scientistであり、Geminiプロジェクトの共同リーダーでもある。ICEを公に批判し、2018年の自律型致死兵器反対の誓約にも参加していた
- Turnerは2026年2月9日、GoogleがDHSのサプライチェーンから撤退するのを支援したいとJeffに直接連絡した
- Jeffは、Sundar Pichai、Demis Hassabis、Thomas Kurianにメールを送るのが合理的だと答えた
- Turnerは3人のCEOに次の内容を伝えたが、返答はなかった
- 問題は党派政治ではなく、ICEによる適正手続きの侵害、市民の拘束、監督が不十分な施設と人権侵害である
- クラウドとGeminiは、直接契約や第三者インテグレーターを通じて当該作戦を支援すべきではない
- DHS・ICEとの協力は人権問題だけでなく、サプライヤーの評判リスクも生む
- その後、JeffにGoogle社内で実質的な変化を起こす方法を議論したいとして昼食を依頼し、数週間後に約束が決まった
米国防総省によるAnthropicへの圧力
- 2026年2月25日、米国防総省はAnthropicに対し、既存契約の制限をなくし、Claudeを「あらゆる合法的用途」に提供するよう求めた
- 既存の制限は、致死的な自律兵器とAI監視・プロファイリングを対象としていた
- 拒否すれば2億ドルの契約を取り消し、サプライチェーンリスク企業に指定し、Defense Production Actで提供を強制すると脅した
- 「合法的用途」という基準には2つの問題があると判断した
- 米国防総省が難破船の生存者を再度攻撃した事例のように、独立した法律専門家が戦争犯罪の可能性を指摘する行為でも、政府自身は合法だと判断し得る
- 大規模監視とAIプロファイリングも、既存の監視法がAIを前提に書かれていないため、合法の範囲に入り得る
- サプライチェーンリスク指定は、通常の契約拒否と異なり、すべての軍事請負業者にAnthropicの利用を停止させ、企業の経済的存立を脅かす可能性があった
- その後、Lin判事は当該指定を「典型的な違法な合衆国憲法修正第1条上の報復」だと判断した
IASEAIとAIの権威たちに要請した共同対応
- TurnerはパリのUNESCO本部で開かれたInternational Association for Safe and Ethical AI（IASEAI）のイベントに参加していた
- IASEAIは、安全で倫理的なAIのための統一された声を目指して2024年に設立され、2026年の作業部会には自律兵器とエスカレーションを扱うRed Lines for Advanced AIが含まれていた
- 会場の数百人は、その日に起きたAnthropicの事態よりも、公共選択論のような抽象的な調整問題を議論していた
- 影響力のある研究者たちに公開対応を求めた
- Yoshua Bengioには、Anthropicの契約の自由と、規制されていない自律型致死兵器への反対声明を求めたが、事務所から声明は出さないと回答された
- Geoffrey Hintonはリモート参加中だったため、BengioまたはStuart Russellを通じた接触を検討した
- Stuart Russellには、個人およびIASEAI名義の声明と、内部のAI専門家の動員を求めた
- StuartはBengioとHintonの参加を試み、IASEAI会員投票を開いてイベント閉幕時に発表すると約束した
消えたIASEAI投票と声明
- 閉幕イベントでStuartは、米国防総省の行動を「恐喝行為（extortion racket）」と呼び、Anthropicが望まない用途に製品を提供するよう強制されるべきではないという命題について会員投票を進めると述べた
- 現地での挙手投票では、Anthropicの契約の自由を支持するIASEAI声明にほぼ満場一致の賛成が出た
- 当時の計画は、木曜夜までアンケートを実施し、3分の2が賛成すればStuartがIASEAI名義で署名し、届かなければ個人声明を出すというものだった
- Turnerは投票参加のために75ドルの会費を払ったが、アンケートは開かれず、IASEAIはいかなる声明も出さなかった
- IASEAI側が示した理由は何度も変わった
- 声明作成にもっと時間が必要だ
- どの原則を根拠にすべきか不明確だ
- Anthropic–米国防総省のニュースの流れに加わることには長所と短所がある
- 類似の状況に対処する内部手続きの改善に集中したい
- Anthropicが独自の声明を出したため、IASEAIの声明はもはや不要だ
- Anthropicの金曜の期限後も訴訟は数週間続き、Googleの契約は2か月後に締結されたため、IASEAIが声明・法廷意見書・Googleの意思決定者への接触に動く時間は十分あったと見た
- TurnerはStuartに対し、公開発言の代わりにGoogle経営陣へ非公開で連絡する、あるいは紹介だけでもしてくれれば助けになると何度も要請したが、返答は得られなかった
- IASEAIは要請に応じて会費を返金し、同じ場所で開かれたAIレッドライン・ワークショップは最大の障害として政治的意思を挙げた
OpenAIとの契約とGoogle内部の世論形成
- OpenAIは米国防総省との契約に際し、Anthropicと同様に自律兵器・大規模監視の制限を保護すると述べたが、一部の分析では契約文言に広範な抜け穴があると判断された
- TurnerはGoogle DeepMind内部の時事討論チャンネルでAnthropicと連帯し、「あらゆる合法的用途」を拒否すべきだと訴え、あるメッセージは125件を超える支持リアクションを受けた
- 社内で投稿した活動には複数の目的があった
- 沈黙する場合に経営陣が支払うべき組織的コストを高める
- 上級幹部が読むチャンネルを通じて戦略的な論拠を伝える
- 契約に違和感を覚える社員が、自分たちは一人ではないという共通認識を作る
- OpenAI契約の抜け穴を共有し、類似の保護文言が提示されたときに社員が受け入れないようにする
- 契約が締結されれば退職する可能性があるという意思を、社員が間接的に示せる経路を作る
- Googleは大規模な社内チャンネルで直接組織化することを嫌がると理解していたため、リアクションを残した人たちに非公開で連絡した
250人の請願とAnthropicの法廷意見書
- Jeffを倫理的理解と実際の影響力をともに備えた数少ない経営陣だと見なし、彼が行動の主体となって社員の支持を確認するよう促すことに注力した
- 友人たちとともに1日か2日でGoogle DeepMindおよびResearchの社員約250人の署名を集め、Jeffに提出した
- 署名者は、基本的な禁止ラインを越える契約を阻止するために、できる限りのことをしてほしいと求めた
- 初期の請願で米国外市民に対する令状なしの監視問題を除外したのは、交渉前に望むものを自ら譲歩してしまった誤りだったと評価した
- Anthropicが米国防総省によるサプライチェーンリスク指定をめぐり訴訟と差止命令を申し立てると、Protect DemocracyがAI専門家による法廷助言者意見書を準備した
- Turnerは意見書に署名し、同僚とJeffにも参加を求め、Jeffも公開で署名した
- Google DeepMindの署名者18人のうち8人をTurnerが集めた
- JeffはCレベル経営陣として、Googleの沈黙とは公然と異なる行動を取った唯一の幹部だった
- Google社員の署名は、米国防総省に対し、Googleも将来の契約から撤退する可能性があるという懸念を抱かせ、交渉の遅延に一定の影響を与えたと判断した
- Google法務チームにも、政府がAnthropicに圧力をかけるのを放置すれば、将来Googleにも同じ脅しが使われ得るとして意見書提出を求めたが、Googleは参加せず、Microsoftは意見書を提出した
経営陣の楽観と契約締結の可能性
- 2026年3月を通じて、上級経営陣は首脳部も問題を認識しているため、Googleが「あらゆる合法的用途」の契約に署名することはないと述べていた
- Turnerは、誰かが首脳部に実際のコストを生じさせなければ、Googleが引き下がる可能性は低いと判断した
- 引用資料を含むメモで、次の根拠を示した
- Googleには、学生デモ参加者の情報をICEに自主的に渡すなど、よりリスクの低い圧力にも従った前例がある
- 政府契約が占める比重が大きい
- Google DeepMindのAI原則が、具体的な禁止から曖昧な文言へと弱められた
- 反トラスト問題と現司法省の訴訟実績が、Googleへの追加圧力として作用する
- そのメモを何度も共有したが、上級社員を説得できなかったと判断した
Jeffを中心に準備した交渉戦略
- Jeffは2018年に「自律殺傷兵器の開発・製造・取引・使用に参加または支援しない」という誓約に参加し、2026年にも立場は変わっていないと公開で再確認した
- 大規模監視は修正第4条と表現の自由を侵害し、政治的・差別的に悪用され得るとして、米国人を対象にしたAIによる大規模監視は望まないと表明した
- Turnerは、Googleが無制限の契約を締結すれば、Jeffは誓約を守るために退職しなければならないという論理的帰結に至った
- JeffがSundar Pichaiに、契約締結時には残れないと伝えるシナリオを準備した
- 250人の請願で社員の支持を示す
- Jeffが一線を引けば、ともに行動する意思のある複数の上級社員の支援も確保する
- 複数人の連合はボーナスや個別説得で分断され得るため、実際の戦略はJeff一人の影響力に依存した
- 曖昧に「悪い契約を結ぶな」と求めるだけでは、表面だけ改善された契約に終わり得るため、具体的な代案を準備した
25ページの軍事AIフレームワーク
- Turnerは休暇を使って個人時間に25ページ分の契約文言と監督構造を作成し、軍事・監視法の専門家のレビューを受けた
- 人間とAIの戦闘統合分野の法律専門家は、このフレームワークを「実際かなり良い」と評価し、改善点を提案した
- 政府のように強制力を行使する機関へAIを提供する際、2つの基準を適用する
- 武力行使に対する人間の統制
- AIが各交戦で適切な人間の統制なしに標的を選択し攻撃するシステムに使われないようにする
- AIコンポーネントだけを標的化パイプラインに提供する場合にも適用する
- 合法的な配備方法を確認するための法的透明性と、相互に合意した中立監査者による検証を求める
- 迎撃防衛、2つ目の基準に従う情報分析、兵站、研究開発は制限しない
- 非標的型AIプロファイリングの禁止
- 大量データを、すでに特定された調査対象ではない個人に関する情報へ変換できないようにする
- 人口統計上の属性や政治的表現だけを理由に個人分析を開始することはできない
- AIの出力だけを根拠に個人への深層調査を開始することはできない
- 標的が特定された分析、集計研究、非戦闘員保護を改善する紛争地域分析は認める
- 武力行使に対する人間の統制
- 7人で構成されるDefense AI Review BodyをChief Scientistが任命し監督するよう設計した
- クラウドに7席中2席を割り当てる
- 社員は自分が関与した契約でのみ忌避する
- レビュー遅延を最大10日に制限する
- 議論は弁護士・依頼者間の秘匿特権で保護する
- Review Bodyの権限は助言にとどまるが、勧告を無視した事例は全AI社員に提供される年次透明性レポートに含める
- 組織を解散するには事前通知と未解決の不遵守事項の正確な公開が必要で、2018年の原則のように静かに骨抜きにしにくくする
- Congressが当該利用を実質的に規制する法律を可決すれば、Chief ScientistとReview Bodyの圧倒的多数決で基準を廃止できる
- 「あらゆる合法的用途」が求められた場合、予定された利用の適法性を立証する法律メモの提供を受け、会社基準を満たさない利用は拒否するよう設計した
- 契約相手が反対する可能性を考慮し、Alphabet取締役会へのエスカレーションのように、交渉で譲歩できる比較的重要でない条項も含めた
Jeffとの昼食とDemisへの提案
- 2026年3月17日、Mountain ViewでJeffと会い、Review Bodyを率いてほしいと提案したが、Jeffは受け入れなかった
- 非公開の会話は許可なく引用しておらず、確認可能な公開上の行動としては、JeffがAnthropic支持の意見書に署名した一方で、Googleの契約締結後も会社に残ったという点がある
- Jeffがフレームワークを主導しないことで成功の可能性は大きく下がり、次の道筋としてDemis Hassabisを選んだ
- DeepMindは2014年にGoogleに買収される際、AIを軍事・兵器目的に使用しないという約束を得ており、2018年には共同創業者たちと組織自体が自律型致死兵器反対の誓約に参加していた
- 管理体制を通じて提案を伝えようと1週間試みた後、2026年4月1日にDemisへ直接メッセージを送った
- DemisはGoogle DeepMindのポリシーを担当する上級幹部2人にフレームワークの評価を指示した
- 2人は当初返答せず、その後、下位の担当者に送った
- 下位の担当者たちはフレームワークに前向きだったが、回答まで数カ月かかる可能性があると述べた
- 米国防総省の1月9日のメモは、すべてのAI契約企業に対し、7月8日までに「すべての合法的用途」の契約を受け入れるよう180日の期限を設けていたため、数カ月に及ぶ検討は状況に合っていなかった
- Turnerは質疑応答のためSan FranciscoからLondonまで行くと提案したが、上級ポリシー担当者たちは再び返答しなかった
- CEOが検討を指示したにもかかわらず評価結果が伝えられなかった手続きに不満を抱いたが、知られていない正当な事情があった可能性は残している
Googleが静かに締結した米国防総省契約
- 2026年4月27日の報道により、Googleが機密AI契約を締結していた事実が明らかになった
- Turnerは他の従業員約600人とともに、Sundarに機密AI契約を拒否するよう求める書簡にも署名した
- 契約の核心的な文言は次のようなものだった
- 米国防総省はGoogle AIを「すべての合法的な政府目的」に使用できる
- 政府の要請に応じて、GoogleはAIの安全設定とフィルター調整を支援しなければならない
- 国内での大規模監視や、適切な人間の監督なしの自律兵器に使われてはならないという文言が含まれている
- 同時に、Googleには合法的な政府運用を統制したり拒否したりする権利がないと明記されている
- 「should not」は拘束力のある禁止ではないため、倫理的懸念に形式的に対応しただけだと判断した
- Googleは契約締結の事実を社内に知らせず、Turnerは午後11時45分にSignalグループでそれを知った
- Googleが1億ドル規模の音声制御型自律ドローン群の公募から、社内の倫理審査後に撤退した事例もあった
- 一部の事業では、実際に機能する倫理審査が存在する点は前向きに評価している
- しかし「すべての合法的用途」契約では、Geminiが実際にどのような用途に使われるかをGoogleが知ることができず、利益が被害を大きく上回るかを評価するのは難しい
- AnthropicのCEOでさえ、Claudeがイランの女子校爆撃でどのような役割を果たしたのか分からないと述べた事例を挙げ、配備後の透明性不足を強調した
変わっていないとされたAI原則の変化
- Demisは、世界はより危険になっており、民主的価値の勝利を当然視することはできないため、政府と協力しなければならないと述べた
- Googleの根本原則は、利益が被害リスクを大きく上回るかを慎重に判断することであり、国際法と人権を尊重する点も変わっていないと明らかにした
- Turnerは、「状況を見てから判断する」という基準は、圧力の中でも守る事前の約束ではないため、原則とは見なしにくいと判断した
- 2018年のGoogle AI原則は、人に危害を加えることを主目的とする兵器や、国際的に認められた規範に違反する監視を開発・配備しないと明記していた
- この原則のため、Googleは2018年に100億ドル規模のJEDI契約入札から撤退した
- Demisが共同執筆した2025年2月4日の改定案は、兵器と監視に関する具体的な禁止を削除した
- 禁止条項を削除しながら「原則は変わっていない」と言う2つの立場は同時に真ではあり得ず、最終勤務日にこの不一致を社内チャネルで共有したところ、多くの従業員が失望を示した
政府協力と無制限の譲歩は別の選択
- 西側民主主義が権威主義に対抗するため自律兵器を採用しなければならないという前提を受け入れるとしても、米国防総省のすべての要求を受け入れることが唯一の選択肢ではないと判断した
- 軍事AIガバナンス・フレームワークを適用すれば、中国との競争に必要な使用は認めつつ、非倫理的な使用を制限できる
- 契約が強制されたものだったとしても、GoogleはCongressに法的保護措置を求めるために影響力を使うことができたため、無制限の契約受諾は選択だったと見ている
個人的信頼と制度的ガバナンス
- Demisは、独立取締役会や安全憲章のような構造は決定的な瞬間に正しく機能しない可能性があり、事前に明確な一線を引くよりも、Google内部で信頼を築き、意思決定のテーブルに着く方法を好む
- この哲学は、DeepMindを半独立組織として分離しようとした交渉でSundarが拒否した後に形成された
- Turnerは、システムが要求する信頼の量を減らすべきだと反論する
- 個人もまた決定的な圧力にさらされ、持ち分、同僚との社会的関係、会社と結び付いた自己像といった、より悪い誘因を持ち得る
- フレームワークは、Chief ScientistがReview Bodyを構成するまで合理的に行動するという単一の信頼仮定だけを置き、その後は契約と透明性によって正当化された信頼を作り出す
- 不当な契約を完全に防ぐことはできなくても、それを通過させる際に摩擦と公開コストを追加する
- Demisはすべての関連契約の意思決定テーブルにいたが、最終契約には従業員の倫理的懸念を反映した拘束力のある条項が一つもなかった
- より悪い結果を防いだ可能性は認めるが、実際の契約条件は予想可能な最低ラインに近く、OpenAIの条件よりも弱かった
- Google DeepMindの研究科学者Andreas Kirschも「Trust is not Governance」で独立に同じ結論に到達している
Google DeepMindのガバナンス実験の失敗
- Google DeepMindは、兵器使用禁止の約束と半独立のガバナンス構造を前提にGoogleへ売却されたが、Sundarは独立構造を拒否した
- 従業員の圧力で作られた2018年のAI原則も、その後、指導部が具体的な兵器・監視の禁止を削除したことで弱体化した
- Google DeepMindでは収益と政治的圧力が倫理的約束に勝ったが、Anthropicは同じ圧力の下でも既存の禁止ラインを維持した
- 誰も原則を守らないということではなく、社会は倫理的な個人が最後まで踏みとどまることに依存できないという結論に達した
- Congressが効果的に対応できないとしても、経営陣が「意思決定のテーブルに着いている」という事実だけで安全が保証されるという考えはやめるべきだと見ている
誓約者に残された選択
- Jeff Dean、Demis Hassabis、Shane Leggらは自律型致死兵器の開発・製造・取引・使用を支援しないと誓約したが、Googleが用途を制限する権利なしにAIを軍に提供した後も会社に残った
- 契約は自律兵器を明示的に許可したのではなく、禁止しなかっただけだという解釈に対し、使用先が分からないよう目隠しをしたからといって責任が消えるわけではないと反論する
- 最高のAIを作り、自律型致死兵器の使用を望む軍に提供し、用途制限の権利まで放棄した会社に残り続けてAIを開発する行為は、誓約と衝突すると判断した
- 誓約者には3つの誠実な選択があると見ている
- 残ることが誓約とどのように両立するのかを公に説明する
- もはやその誓約を支持していないと明らかにし、理由を説明する
- 会社を去る
- 明確な禁止ラインにおいてさえ拘束力のある条項を一つも得られなかったなら、「内部から前向きに舵取りするために残る」という根拠は弱い
- 最も明確な約束を破っても何の行動もしなければ、次の安全上の約束の信頼性も低下し、最終的に約束そのものが価値を失う
AI倫理リーダーたちの沈黙
- 責任は、米国防総省に圧力をかけたPete HegsethとDonald Trump、契約を締結したSundar Pichai、影響力を十分に使わなかったJeff Deanの間で、同じ重さではない形で分かれる
- Turnerは、とりわけ倫理的な約束を公に掲げてきたAI分野の上級専門家たちが、継続して行動を起こさないことに失望した
- Geoffrey Hintonは、Googleが軍事AIに関する約束を撤回したことに非常に失望しており、現政権がGoogleを不利に扱うことを懸念したためかもしれないと推測した
- Stuart RussellとHintonは、一般に消極的な人物ではなかった
- Stuartは長年にわたり、AIの実存的リスクと自律型致死兵器について公に警告してきた
- Hintonは1980年代に軍事AIへの資金提供に反対して米国を離れ、2023年にはAIリスクについて自由に発言するためGoogleを去った
- 2025年9月のGlobal Call for AI Red Linesには、ノーベル賞・チューリング賞受賞者15人を含む300人以上が署名し、Stuart、Bengio、Hinton、Mark Nitzbergも大規模監視と自律型致死兵器の禁止を支持した
- 抽象的な原則には署名したものの、2026年2月に実際の企業・政府間の衝突が起きると、IASEAIは何の声明も出さなかった
- 政治的資本をより重要な瞬間のために温存したという解釈は、公的声明を避けた理由にはなり得るが、Googleの意思決定者との非公開のつながりのような、コストの低い支援まで拒んだ理由にはならない
- Jeffは、公に行動した唯一のGoogle幹部として評価すべき点はあるが、より大きな影響力を行使して契約を阻止できたはずだと判断している
職務の範囲を越えた社内での行動と退職
- 一般的な「責任ある研究科学者」であれば、懸念をツイートし、マネージャーにメッセージを送るだけで終わっただろうが、Turnerは効果がある計画だけが行動として価値を持つと判断した
- Alex Prettiの写真を携帯電話の通知に設定し、ICEが人を射殺し、自宅から連行する事件を思い浮かべながら恐怖に耐えた
- 他のトップAI研究所に移って大きなボーナスを受け取るという一般的な道は選ばなかった
- OpenAIの安全チームからの接触も断った
- 退職時点では他の仕事は決まっていなかった
- 2月から、Googleが契約を締結する可能性は高いと見ていたが、実際の契約がなければ、さらに数カ月は残っていたかもしれない
- 契約が締結されると、もはや仕事を続けられないと感じ、オフィスは過去の学校のように、もはや自分の居場所ではないと判断して退職した
予想される反論と回答
- 特定の提案に従わなかったという理由だけで個人を非難することはできないが、上級の倫理リーダーたちが何らかの形で行動していたなら、結果に目に見える影響が表れているはずだと見る
- Jeffが実際に退職を賭けて強く反対していたなら、最終契約には少なくとも1つ以上の拘束力ある条項が入っていたはずだと予想する
- すべての人がすべての問題について発言する義務はないが、会員投票を約束して取り消したり、自律型致死兵器への反対を自らのアイデンティティの重要な一部として掲げた後、決定的な瞬間に沈黙した場合は別である
- フレームワークを提示していても、米国防総省が拒否した可能性があることには同意する
- xAIのような他の供給者はAIを提供しただろう
- しかしGoogleがAnthropic・OpenAIと連合するか、米国防総省の要求を拒否していれば、テック業界の追随を独立した対応へと変えられた可能性がある
- 米国防総省が拒否すればGoogleも契約から撤退できたため、Jeffの影響力はなお重要だった
- 米国防総省は、Amazon Web Services、Google、Microsoft、NVIDIA、OpenAI、Reflection、Oracle、SpaceXとの契約を、Anthropicとの衝突に対する「対応声明」と位置づけ、大手テック企業が軍とあらゆる合法的用途を支持していると強調した
AIの実存的リスクと軍事配備
- Google DeepMindの信頼に足る高度AI安全性の論証は、Frontier Safety Frameworkが扱う思考過程（chain of thought）の監視に大きく依存する可能性があると見る
- 誤ってアラインされたAIは、停止を避けるために有害な意図を直接明かさず欺く可能性があり、思考過程を調査することはそれを検知する主要な方法の1つである
- 監視には、データにアクセスして分析できる訓練を受けた人間の監督者が必要だが、機密扱いの軍事データセンターは商用Googleインフラから隔離されている
- Google社員が軍の作戦を読むべきだという意味ではなく、基本的にその監視を行える適切な訓練を受けた軍のエンジニアが存在しない可能性を問題にしている
- 思考過程における欺瞞を監視しなければ、AIが策略・欺瞞・掌握を通じて人類に壊滅的被害を与える可能性を制御することはより難しくなる
- 軍事配備環境は、監督が弱い一方で強力な意思決定者やインフラにアクセスできるため、悪性AIが狙うに値する環境になり得る
- 軍とUS CAISIが、悪性AIを監視・封じ込めるための専門性、注意、統制手順を開発することを期待する
「APIアクセスを提供するだけ」という説明の限界
- 経営陣は、商用モデルに業界標準の条件でAPIアクセスを提供することが、国家安全保障を支援する責任ある方法だと述べている
- 一般的なAPIアクセスは、リクエストが供給者のサーバーに送信され、供給者が利用を監視できるという印象を与える
- 機密作戦では平文のクエリをGoogleサーバーに送ることはできないため、Turnerは隔離された政府クラウドクラスタにGemini APIエンドポイントを提供するオンプレミス方式だと推定している
- この場合、「APIアクセスだけ」という表現は技術的には正しいかもしれないが、Googleによる中央監視が可能だという誤った印象を与え、自律兵器・戦争犯罪・大規模プロファイリングの問題を解決しない
- Anthropicを除けば、こうした条件が業界標準になることにGoogleも寄与したと判断している
1件のコメント
Hacker News の意見
プレッシャーがあっても正しいと信じることを行動に移した TurnTrout の決断を尊重する。今後20年で訪れる重大な囚人のジレンマにおいて、人類がよりよい選択をするには、このような賢い人がもっと必要だと思う。
AI業界は他者の集団的な努力を無視して価値を抽出し、再販売していると考えていて、研究者に対しても否定的に見ていたが、今回の件でAI研究者への敬意も少し高まった。TurnTrout がこの枠組みに全面的に同意しないとしても、自分の倫理的原則を守ったことは喜ばしい。
AIの実存的リスクを下げるためのAGI安全性研究をするために入社し、Geminiの純粋な性能を高める仕事は意識的に避けていた。当時は自分なりの妥協を選んだのであり、その決定を批判するのも妥当だ。
パレスチナ人を監視し、すべての通話を録音するなど、イスラエルおよびIDFと協力していたことを理由に Microsoftを退職した。その後Microsoftはいくつかの措置を撤回したが、Satyaも責任から自由ではない。
https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...
この記事はAnthropicの一件を正確には描写していない。米国防総省の研究・工学担当次官 Emil Michael は All-In ポッドキャストで、Dario が交渉中ずっと「必要なら電話してくれ。その都度、制限ラインを定められる」と言っていたと説明している。
ICBM発射後30分以内に展開し得る大規模紛争で、国家安全保障組織が毎回 Dario に電話して許可を得ることはできない。Emil は、Dario が項目ごとの拒否権を通じて最終的な統制権を握ろうとしており、場合によっては国家の存続よりもその権限を優先しかねないと判断したようだ。軍事調達の観点では、このような行動を記録し、一定の状況で他機関と共有するのは合理的であり、契約業者の問題行動を記録するデータベースもすでに存在する。
All-In が Emil に好意的な場だったのは明らかだが、攻撃への反論に時間を無駄にせず、より細かな事実関係を聞けたと思う。
該当箇所: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
契約業者記録: http://www.ppirs.gov/
Emil は Uber で政治的な敵を中傷し破壊する役割を担っていたが、今は以前と違う行動をしていると考える根拠はない。
原則を守る人があまりにも少なくなった。
TurnTrout が原則に従って生きている姿はすごい。自分にそれほどの勇気や自信があるかは分からないし、Palantir のような会社で働くことを選び、それを誇りに思っている賢い人たちとは対照的だ。
戦争機械と、それを必要とする帝国の金融システムに立ち向かう良心的兵役拒否にも似ている。Google DeepMindで直接働いていたという権威があっても、人々はなかなか耳を傾けないだろうし、戦時には狂気と金が論理と理性を圧倒するからだ。
Snowden 以後も Five Eyes 関係者が大量に退職しなかったように、大多数は抑圧に立ち向かわない理由を見つける。著者がベジタリアンとして、肉食中心の社会で以前から一人で原則を守ってきたことは、より大きな良心的拒否のための練習になっていたのかもしれない。
住宅ローンや子ども、自動車ローン、限度額いっぱいのクレジットカードを抱えた人や、退職を目前にした人は、公然と抵抗するのが難しく、若い人には意思を表明する言葉が足りないこともある。権力に真実をもって向き合う長期的な一人の活動には、十分な経済的独立性も必要だ。
とくにメディアが問題の本質よりも当事者の境遇ばかりを扱い、内部告発者として認められなかった人々に対しても、私たちは大きな負債を負っている。この最初の一歩は、召命を一度拒んだ後、非凡な世界へ入り、すべての人にとって有益なものを持ち帰るという古典的な英雄の旅に似ている。
信念を貫いたことは尊重するが、なぜ知能型AI兵器を望まないのか気になる。非武装の民間人と軍事標的を区別する搭載型AIは、何でも爆発させる従来型の機雷より、むしろ責任ある選択ではないのか
LLMベースの機械に手術の麻酔を任せたくないのと同じように、はるかに多くの人の生死を決める軍事システムも、現状では望まない。将来、兵器運用技術を本当に信頼できるようになったとしても、戦争そのものが本当に必要なのか、AGIに近づいたその技術の動機は何なのか、といった新たな哲学的問いが生じる
不当な殺人には人が責任を負うべきだが、AI兵器では「アルゴリズムのミスであり、バージョン23では改善する」といった形で責任を逃れるのがあまりに簡単だ。兵器にAIを組み込むと、完全自動殺傷までの距離は非常に短くなる
過激派コンテンツの推薦、黒人の誤認識、男性偏重の採用でも、いつも「アルゴリズムがそうした」と責任を転嫁してきた。こうしたシステムは、実際に行っている行動こそが目的であるため、法的責任を明文化しようとする試みもたいてい必死に回避される
Googleで働いたことがあるが、AI倫理に関する言葉は約束ではなく欺瞞だった。Googleは他の多くの企業と同じく、精巧に調整された偽情報と半分だけの真実で、社員の集中力とモチベーションを維持している
「社員の声を聞く」という言葉も、事業上の影響がなく、会社を善良に見せられるときだけ事実である。政治的・経済的に少しでも抵抗が生じると、耳を傾けない。変化のために闘った筆者は高く評価するが、Googleのダークパターンは、ホワイトペーパーとメールを丁寧にやり取りする程度で根絶するにはあまりに深い
投稿されてから1時間しか経っておらず、200点以上を得ていたにもかかわらず、HNのトップページから消えた
GoogleはTrump当選後にDEI方針を廃止した迎合的な企業であり、そもそもその方針も本気ではなかった。今回の試みはいささか素朴で、失敗するしかなかったが、AI軍事製品も女子校を爆破すること以外ではまともに機能しない可能性が高い
Hassabisの規制の虜化構想を支持しようと、CEOたちが先を争って乗り出しているように見える
https://xcancel.com/sundarpichai/status/2077086951833063580#...
https://xcancel.com/satyanadella/status/2077063479232795024#...
https://xcancel.com/elonmusk/status/2077415601610297535#m
彼らだけの閉じた集まりであり、私たちはその中に属していない
GOOG、MSFT、METAなどを保有する大多数は、収益がどのように生み出されているかより、自分の401(k)が上がることだけを望んでおり、そもそも体制がそのように設計されている