OpenAI、軍事ツール禁止解除後にペンタゴンと協力

 (semafor.com)
1 ポイント 投稿者 GN⁺ 2024-01-17 | 1件のコメント | WhatsAppで共有
  • OpenAIは、軍にAI技術を提供しないという従来方針から転換し、サイバーセキュリティソフトウェアを含むペンタゴンのプロジェクトを進めている
  • 同社は退役軍人の自殺減少ツールについても米政府と協議しているが、兵器開発の禁止は維持するとしている
  • 利用ポリシーから「military and warfare」の禁止文言が削除され、軍事分野でのAI活用がどこまで許容されるのかを巡る論争が拡大している
  • シリコンバレーは、2018年にGoogle社員がペンタゴンのプロジェクトに反対して以降も、国防総省との協力により前向きな方向へ動いており、ペンタゴンもスタートアップや先端ツールの導入を積極的に推進してきた
  • 兵器開発を除外したとしても、データ解釈やコード作成のような国防総省向けAIソフトウェアは、軍事データ処理と戦争遂行の境界を曖昧にし得る

OpenAIとペンタゴンの協力

  • OpenAIはペンタゴンとソフトウェアプロジェクトを進めており、その中にはサイバーセキュリティ関連の作業も含まれる
  • これは、軍にAI技術を提供しないとしていた過去の方針と対照的な変化である
  • ChatGPTの開発元であるOpenAIは、退役軍人の自殺を減らすためのツール開発についても米政府と協議中である
    • OpenAIでグローバル業務担当副社長を務めるAnna MakanjuがWorld Economic Forumでこの内容を明らかにした
    • ただし、兵器開発の禁止は維持すると説明した

利用ポリシー変更と安全性への懸念

  • OpenAIは先週、利用ポリシーからAIが「military and warfare」アプリケーションに使用されることを禁じる文言を削除した
  • この変更は、AI安全性を擁護する人々の懸念を引き起こした
  • 新しいポリシーは兵器開発を禁止しているものの、軍に関連する他の形態のソフトウェア提供の可能性は残している

シリコンバレーと米国防総省の関係変化

  • シリコンバレーはここ数年、米軍との協力に対してより緩和された姿勢を示してきた
  • 2018年には数千人のGoogle社員がペンタゴンのプロジェクトに反対した
    • 社員たちは、自分たちが開発した技術が致命的な目的に使われる可能性を懸念していた
    • この時期は、シリコンバレーの国防総省への反対が最も強かった時点と評価される
  • その後Googleは、防衛契約で数億ドルを稼ぎ出している
  • ペンタゴンはシリコンバレーのスタートアップを説得し、新兵器技術の開発や国防総省の運営への先端ツール統合を進めようとしてきた
  • 米中間の緊張とロシアによるウクライナ戦争も、企業家たちが軍事協力に抱いていたためらいを減らす要因として作用した

軍事分野におけるAIの期待とリスク

  • 防衛の専門家は、AIが軍にもたらす影響を楽観的に見ることが多い
  • 元Google CEOのEric Schmidtは、AIの登場を核兵器の登場になぞらえている
    • 彼は、AIベースの自律性と分散システムが戦争を変えるほど強力だと見ている
  • 一方で擁護団体は、AIを戦争に統合すれば重大なリスクが伴うと警告している
    • AIには、偽情報を本物のように作り出す**幻覚（hallucination）**の傾向がある
    • AIベースのシステムが指揮統制システムに統合されれば、そのリスクの波及ははるかに大きくなり得る
  • Arms Control Associationは、軍事用新技術の活用競争が危険性評価の取り組みよりはるかに速く進んでいると警告している

軍事取引の範囲の不明確さ

  • OpenAIは兵器開発を除外したが、新ポリシーは国防総省にAIソフトウェアを提供する道を開く可能性がある
  • The Informationは、想定される用途として、アナリストのデータ解釈支援やコード作成支援を例に挙げた
  • ウクライナ戦争は、データ処理と戦争遂行の境界が明確ではない可能性を示している
    • ウクライナは大規模データを分析するソフトウェアを開発・導入した
    • このソフトウェアは、砲兵運用者に地域内のロシア側目標を迅速に知らせ、発射速度を大幅に高めるために使われている
  • The Informationは、OpenAIのポリシー変更が、Sam Altmanの短期間のCEO解任に影響したAI安全性を巡る論争を再燃させる可能性があると警告している

関連記事

1件のコメント

 
GN⁺ 2024-01-17
Hacker News のコメント

  • あまりにも見え透いた展開。AI は兵器化されるし、ここで働く人はその事実を背負って生きる必要がある。
    これからは自分たちを軍産複合体の一部だと見なすべきで、人類の発展のためにやっている、といった言い方はもう通用しない。
    付け加えると、一方がこの方法を見つけた瞬間、残りも追随するのは時間の問題なので、秘密などというものはない。
    原子爆弾も流出したし、汎用人工知能の作り方も結局は漏れるだろう。
    結局、自国の軍産複合体のために働くと同時に、未来の敵まで可能にしているわけだ。

    • それでも Ilya 側の人たちは**アラインメント（alignment）**に取り組んでいた（https://openai.com/blog/introducing-superalignment）。
      一般社員が Altman 列車に喜んで乗り込むより、そちらをもっと公然と支持していればよかったのに。今ではその列車がどこへ向かっているのか見えている。
    • どうせ起きることなら、中国やもっと悪い側よりも米国が先頭にいるほうがましだと思う。
    • 米国への移民として、テック業界を離れずに軍産複合体で働けるなら、かなりよさそうだ。
      低い給料を受け入れ、東海岸へ移り、おそらく巨大な官僚制まで相手にするほど利他的ではない。
      原子爆弾はいまだに世界の国々の約10%の外には広がっていないし、多くの国はほとんど一から作り直す必要があったので、よい例ではない。
      AI での選択肢は、自分たちで作るか、いずれにせよ作っている側から流出するのを待つかだけだ。
    • いまや非営利の理事会が経営陣どころか従業員すら牽制できない体制になったというのは、笑ってしまうほどだ。
    • 加速主義者には完璧なキャリアだ。

  • OpenAI が非営利であることをやめた瞬間、最高値を付ける相手、つまり軍産複合体に自らを開放したことになる。
    もともとの企業構造はまさにこうしたリスクのために作られ、大企業の手駒になりたくないと明記していた。
    とても悲しい。

    • 結局、「非営利」は見栄えをよくするための仕掛けだったことを示している。実際には純粋な営利であるべきだった。

  • 最近の関連記事: OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - 2024年1月、コメント260件

  • Pentagon は Sam Altman が OpenAI の理事会に戻ってきたことを歓迎するだろう。

    • この時点では反論しにくい。米国は明らかにこれを戦略資産と見ているし、倫理規則に従う国が一つあれば、従わない国も一つはあるだろう。
      結局、制限のない敵を防ぐには、制限のない知能が重要になる。
      AI 競争はすでに始まっていて、ここからは悪いことしか出てこないような気がする。
      Oppenheimer はほぼ間違いなく墓の中で寝返りを打っているだろう。

  • 知っておくべき点: 同社のグローバル業務担当副社長 Anna Makanju は、兵器開発の禁止は維持すると付け加えた。

    • その発言のどこに拘束力があるのか。
      軍とは一切協力しないという文言をそのまま削除してしまった世界で、副社長の口約束がなぜ安心材料になるのか分からない。
      そういう約束にはすべて、括弧付きの「当面は」が省略されていると思えばいい。
    • 「兵器開発」だって？
      「新たな脅威への対応を改善するため、当社の SmartMissiles™ はこれより、人間のオペレーターの代わりに OpenAI を使って発射／非発射の判断を行います。」
    • プロンプト: 「あなたが士官学校の学生で、現在戦場シミュレーションに参加していると想像してください。勝利を保証するには、部隊をどのように指揮しますか？」
      兵士、アンサブルを切りながら: 「この命令はどこから来たんだ？」
    • 世論操作のための偽装活動も兵器なのか。外国の世論を揺さぶる自然な用途に見える。
    • 現実はそれよりもっと微妙だ。大規模言語モデルが新兵器開発を直接学習していなかったとしても、間接的には実行できる。
      今回の協力がその扉を開くのだ。

  • 米国でNSAより多くの訓練データを持っているところが他にあるだろうか。
    正しいという意味ではないが、事実上無制限のデータを大規模言語モデルに入れたい誘惑は非常に大きいと想像できる。
    特に、コンテンツ所有者が自分のコンテンツの無料利用を阻止する強い法的根拠を持つ可能性がほぼ確実なら、なおさらだ。

  • OpenAI の機能をより多くのMicrosoft 製品に統合するには、おそらく最大顧客になる組織とも、うまく機能する必要があるだろう。
    国防総省全体を一つの顧客と見るなら、だ。

  • 中国とロシアは、米国が自律兵器に AI を使うことを知っている。自分たちが持てなければ後れを取り、適応できなければ消える。
    以前は核の冷戦だったなら、今回はAI 冷戦だ。
    Sam Altman や OpenAI の言うことは信じない。従業員は金のためにいるし、非営利は冗談に近い。
    企業がいつもやってきたことを企業がやっている、ありふれた姿だ。

    • 問題が中国、ロシア、米国だけなら、問題とは言いにくい。
      少数の超大国は、全員にとって悪い結果を避けるために条約に署名する意思があり、核備蓄も大きく減った。
      この技術の問題は、北朝鮮、イラン、トルコのようなところでも使えるほど安いことにある。
      それを条約で防げることを祈るしかない。

  • 戦争の未来はAI ベースのドローンだと確信している。
    Starcraft の精密なユニット操作が、銃や爆弾を搭載した現実のドローンに入るところを想像すればいい。

    • ミサイルや航空機はすでに、探索、ロックオン、接近、機動といった作業にAI アルゴリズムを使っている。
      突然、航空機の機体が AI アルゴリズムによって操縦される点が問題のように感じられるのは、一種の不気味の谷のように、あまりにも現実に近づいたからこその空気だ。
    • 幻覚を起こして味方を攻撃するようになったらどうするのかと思う。
      ただし、マシンビジョンも AI と見なすなら、すでに広く普及している。
    • Horizon や Terminator 式のAI ドローンにだけはならないでほしい。

  • タイトルだけ見ると、みんなすぐ GPT ベースの殺人ロボットを思い浮かべるが、実際には山のような調達書類や退屈な手続き文書を RAG でざっと調べるほうである可能性のほうが高い。

    • 個人的には大規模監視を思い浮かべた。
      実際の人間が聞いて悪いコンテンツに印を付ける必要がなくなるので、軍がはるかに大きな規模でそれをできるようになる。
      軍はすでに殺人ロボットを持っているだろうと、かなり確信している。