1 ポイント 投稿者 GN⁺ 2024-04-07 | 1件のコメント | WhatsAppで共有
  • 極秘に保たれてきたイスラエル軍情報部隊 Unit 8200 司令官の身元が、2021年のAmazon電子書籍に残されたデジタル痕跡から明らかになった
  • ペンネーム Brigadier General YS で出版した本に匿名のメールアドレスが含まれており、このアドレスがYossi Sariel名義のGoogleアカウントとMaps・Calendarプロフィールにつながっていた
  • The Human Machine Team は軍の人員とAIの結合を扱っており、ガザ戦争の6カ月間にIDFが依存したAIベースの標的推薦システムの青写真と結びついている
  • IDFはこのメールが個人アカウントではなく本関連専用のアカウントだと説明したが、その後Sariel個人情報の露出を「ミス」と認め、再発防止の検討を予告した
  • 今回の露出は、2023年10月7日のハマス攻撃を防げなかったUnit 8200をめぐる責任論と技術偏重への批判の中で、Sarielにさらなる負担となっている

Unit 8200司令官の身元露出

  • イスラエル Unit 8200 司令官の身元は、軍内部でも最も機微性の高い秘密の1つとして扱われている
    • Unit 8200は米国のNSAになぞらえられるほど強力な監視機関として知られる
    • 司令官は20年以上公表されないまま活動してきたYossi Sarielだと確認された
  • Sarielの身元は、Amazonで出版した本と結びついた デジタル痕跡 を通じて露出した
    • 電子書籍に含まれていた匿名のメールアドレスが、Sariel名義で作成されたGoogleアカウントにつながっていた
    • そのアカウントには固有IDとGoogle Maps・Calendarのプロフィールリンクが結び付けられていた
  • IDF報道官は、そのメールはSariel個人のメールではなく、本に関する事項専用のアカウントだと説明した
  • その後IDFはイスラエルのメディアに対し、個人情報の露出を「ミス」と認め、類似事例の再発防止に向けて事案を検討すると明らかにした

The Human Machine TeamとAI軍事戦略

  • Sarielは Brigadier General YS というペンネームで、2021年にThe Human Machine Teamを出版した
    • ペンネームは彼のイニシャルで構成されている
    • 複数の情報源の確認によれば、Sarielがこの本の非公開の著者だという
  • 本は、軍の人員と機械の関係を AI がどのように変えうるかという構想を盛り込んでいる
  • Sarielは、現代戦において機械学習は周辺ではなく中心的な舞台へ移るべきだと考えている
  • 核心となる方向性は、完全自律型システムよりも人間とAIの相乗効果を追求する human-machine teaming である
    • 想定読者は高位の軍司令官と安全保障当局者である
    • Sarielは米ワシントンDCのNational Defense Universityで客員研究員として1年を過ごした後、IDFの許可を得て本を書いたとみられる

AI標的マシン構想

  • 本の一節では、AIベースの「targets machine」という概念が扱われている
    • この概念は、IDFがガザ空爆で使用したとされる標的推薦システムの説明と似ている
  • Sarielは、効果的な標的マシンを作るには人間の脳では処理できない ビッグデータ が必要だと考えている
    • 戦場データ、人口情報、視覚情報、携帯電話データ、ソーシャルメディア上のつながり、写真、携帯電話の連絡先などが例として示されている
    • データは多く、多様であるほどよいという立場だ
  • 標的マシンは、小さな特徴を大量に組み合わせて予測する複雑なモデルを用いる
    • 例としては、Hezbollahメンバーと同じWhatsAppグループにいる人、数カ月ごとに新しい携帯電話を受け取る人、住所を頻繁に変える人が含まれる
  • AIは、潜在的な軍事標的を作成する過程で、人間の情報要員や兵士によって生じる ボトルネック を減らす手段として扱われている
    • 新たな標的の探索と承認の意思決定
    • 大量データの処理
    • 情報と火力の接続

ガザ戦争でのAIシステム

  • IDFはSarielの指揮下で、Unit 8200が急速に開発・改良した複数のAIベース意思決定支援システムを、ガザ戦争の6カ月間にわたって配備した
  • 公開されたシステムには the GospelLavender が含まれる
    • 2つのシステムは、イスラエル・パレスチナのメディア +972 magazine、ヘブライ語メディアLocal Call、Guardianを通じて知られるようになった
  • IDFは、AIシステムは人間の情報将校を補助するためのものだと説明している
    • 人間の情報将校は、軍事上の容疑者が国際法上の合法的な標的かどうかを確認しなければならない
    • 報道官は、軍はさまざまなツールと方法を用いており、AIベースで情報分析担当者を支援するツールも存在すると述べた

10月7日以降のUnit 8200論争

  • Sarielのセキュリティ上のミスは、Unit 8200が2023年10月7日のハマス攻撃を予測・阻止できなかったという批判の中で明らかになった
    • この攻撃で、パレスチナ武装勢力は約1,200人のイスラエル人を殺害し、約240人を拉致した
  • Unit 8200はかつて、英国のGCHQに匹敵する情報能力を持つとして、イスラエル内外で高く評価されていた
    • パレスチナ地域を綿密に監視する大規模な監視装置を構築したとみられている
  • 攻撃後、Unit 8200の 技術的な傲慢さ が、従来の情報収集手法を犠牲にしたとの批判が出た
  • イスラエル紙Maarivは2024年2月、10月7日以降のUnit 8200内部の責任のなすり合いを扱った
    • Sarielは実名ではなく、Unit 8200司令官「Y」として言及された
    • 批判者は、Sariel指揮下の部隊が「中毒的で興味を引く」技術を優先した結果、惨事につながったとみている
  • Sarielは同僚に対し、10月7日は最期の日まで自分を苦しめるだろうとし、最も深い意味で責任を受け入れ、「我々は敗北した。私は敗北した」と語ったと引用されている

1件のコメント

 
GN⁺ 2024-04-07
Hacker News の意見
  • 引用文に出てくるセキュリティ上のミスが正確にはどんな性質のものなのか、もっと知りたい。
    Amazon にセルフ出版者のアカウントのメールアドレスを露出させるバグがあるのか、それとも本の中で Google Maps や Google Calendar のコンテンツを共有する際に、それらの機能が実際のメールアドレスを明かしてしまうことを知らなかったのかが気になる。

    • その文と記事の他の部分を見ると、Amazon はほとんど関係なさそう
      フィードバック、訂正、レビュー、報道関係の連絡を受けるために作った Gmail アカウントがあり、ほぼ匿名であるべきだったのに、実名で登録されていたようだ。
      少なくとも返信を受け取った人には名前が見えていただろうし、他のアカウント連携を通じても露出した可能性がある。
    • 本は階級とイニシャルで作ったペンネームで出版されており、Amazon の紹介文はこうなっている。

      [pseudonym], an expert analyst, technology director, commander of an elite intelligence unit, and winner of the prestigious Israel Defense Prize for his artificial intelligence based anti-terrorism project
      国防賞を受賞したプロジェクトと、そのプロジェクトを実施した部隊は The Times of Israel で公開されている。
      その人物の階級と名前も過去の記事で公に知られていた。
      この文脈では、Google アカウントや Amazon は、その将軍を当該部隊と結びつけるうえで大して重要ではなかった。

    • 「固有 ID を含むメール ID の流出」にある固有 IDが何なのか気になる。
      住民登録番号のようなものなのか、軍の認識番号なのか、別の識別子なのか分からない。
  • ここにはセキュリティ失敗はなさそう。
    本名を隠すためにペンネームを使う人もいるが、公的な persona と私生活を分けるためにペンネームを使う人もいる。
    この場合は明らかに後者に近い。
    彼は自分のイニシャルと職業を示唆するヒントを組み合わせて本を出しており、メールを本気で隠そうとしていなかったのも、その流れでは自然だ。
    これは JJ Lehto の本名を突き止めたと報じるのと同じくらい、大した話ではない。
    考え直すと、同時にコールサインでありペンネームでもある。

  • 作戦保全は難しい。
    そして AI の可能性をどれほど楽観していても、誰を殺すかを決めるのに AI を使うのは恐ろしく、明らかに非倫理的だ。
    責任の所在がない残虐行為が可能になる。
    そもそもこの人物が匿名だったという事実も、責任性を目指したものではないというシグナルに見える。

    • The Guardian が数日前、IDF のAI 利用についてさらに報じていたが、陰鬱だ。
      https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
      ただし、その記事では恐ろしい部分の大半は人間の運用者から来ている。
      機械を疑う理由を探すことに、かなり強い無関心があるように見える。
    • 絶対的な表現は難しい。
      「AI を使って誰を殺すかを決めるのは非倫理的だ」という感情には同意するが、そこまで強い命題までは受け入れにくい。
      たとえば標的決定を行う 10 人の集団がいて、AI で作業量を減らし、その 10 人がより長く再検討できるなら、それも「AI を使って誰を殺すかを決める」ことになるが、結果はむしろ改善される可能性がある。
      問題は、現実には人々が責任を機械に押し付け、肩をすくめる可能性が高いことにある。
    • 悲しく吐き気がすることだが、責任の所在がないことは一部の政府にとって売り文句になる。
    • 物理的攻撃の意思決定プロセスに技術をどれだけ入れることが倫理的なのか。
      この問いにきちんと答えつつ、簡単な答えを出すのは難しいと思う。
    • それは決して責任をなくさない。
      むしろ、こうしたコメントや考え方が責任回避を可能にする。
      AI を使うと決めた人間がいて、その人間が責任を負うべきだ。
      その責任を引き受けられないなら、AI を使うべきではない。
  • 身元が流出しても、それほど重要ではない。
    局長級の人物なら何をしてもより目立つようになり、隠れることはできない。
    軍事領域では、高位の将校は軍を代表するため、身元を保護しない。
    もちろん下級・中級の兵士や要員は、命令を遂行し実際の危険を負う人々なので、常に身元を保護すべきだ。
    彼が旅行する際に暗殺リスクにさらされる可能性があるので、身元が公開されないほうが良かっただろうが、正直これは大きな話題ではない。
    反イスラエル系の集団で憎悪コメントを生むだけだろう。

    • 2021 年に「Brigadier General YS」というイニシャルベースのペンネームで出版したのなら、そもそも本当に身元を隠そうとしていたようには見えない。
    • 最後の段落は妙な解釈だ。
      表向きには身元を隠そうとしており、かなり悲惨に失敗したため記事になったのだ。
  • 本はここにある。
    https://www.amazon.com/Human-Machine-Team-Artificial-Intelli...

    • 著者が「Brigadier General Y.S」となっているが、Yossi Sarielだと推測するのは特に難しくない。
  • 個人的に彼の身元には関心がないが、この記事は彼が出版した本の内容も扱っているので、そちらのほうがずっと興味深い。

  • Yossi Sariel の巧妙な4次元チェスの一手
    失敗を装って、正式に辞任せずにポストを去ろうとしているように見える
    この「失敗」が上層部に彼を追い出す口実を与えつつ、10月7日の件は避けさせている

    • どんな失敗でも、台無しにはしておらず、こちらが盤面を見えていないだけだと言い張れば「巧妙な4次元チェスの一手」として飾り立てられる
      10月7日以降に起きたことを見ると、双方ともどんな形の戦略立案にも長けているようには見えない
      「巧妙な4次元チェス」などなおさらではない
    • でもその本は3年前に出ている
      3年後に辞任せず抜け出す方法を作るために、わざとその時ミスをしたということなのか?
    • とくに本自体が最初から公にYSのイニシャルを使って出版されることになっていた
      本当に秘密にしておこうとしていたようには見えない
    • 本当の4次元チェスは、いま行われているコンピューター化された大量殺戮のための思想的リーダーシップのマニュアルを書いておきながら、ただ辞任するだけであらゆる責任から逃れられるようになる点にある
    • ただ辞任して民間人になればいいのに、なぜわざわざ愚か者に見られたがるのか?
      望むなら Snowden のような告発者になることもできたはずだ
  • こういうことが専門家にとっても難しいと分かって、妙に慰められる

  • 「Sariel の批判者たちは、Unit 8200 がより旧式の情報収集手法よりも『中毒性があり刺激的な』技術を優先したことが惨事につながったと見ている」というのか
    彼らも Kubernetes と最新のフロントエンドフレームワークを使っているのだろうか?

    • Mt. Sinai の奥深くにある秘密の IDF バンカーには、恐ろしい秘密がある
      すべての殺人ロボットをハードコードされた名前で個別制御する巨大な useEffect() ループ
      まだメモ化を研究する予算がないので少し遅いが、十分に強力なハードウェアでは問題なかった
      弾道計算はすべて WebGL で行っており、この数年間の世界的な GPU 不足を引き起こした
      ときどきビューポートのサイズを間違えて巻き添え被害が出ることもあった :(
      教訓を得たイスラエルの次の AI プロジェクトは実績ある方式に従うことにし、すべて CSS で書かれる予定だ
    • Kubernetes はもう古くてごつい技術だ
      もっとそれらしい比喩は、シニア開発者を解雇して ChatGPT のサブスクを持つジュニアを雇い、開発速度が大きく向上することを期待する、というほうだ
    • いや、彼らはサーバーレスに移行したのだ
      地下室にあるランダムなコンピューター群を侵害して、小さな関数を分散処理させる
      データが小さすぎて何をしているのか再構成するのは不可能だ
      ソ連式 SETI@HOME だ
      あなたも知らないうちに彼らのデータを処理している
      できる唯一のことは、バックドアを消すためにシステムをフォーマットすることだけだ。うまくいくことを祈るしかないが
  • 作戦保全は難しい
    99,999回はすべて正しくやっても、1回ミスすれば終わりだ

    • Amazon の自費出版本に自分のイニシャルを載せることを、本当に作戦保全と呼べるのか?