- +972 MagazineとLocal Callの調査によると、イスラエル軍はガザ戦争初期に Lavender を用いて数万人のパレスチナ人を暗殺対象としてマークし、情報将校らはその結果を事実上、人間の判断のように扱っていた
- LavenderはHamasとPalestinian Islamic Jihadの軍事組織構成員と疑われる人物をスコア化し、戦争最初の数週間で約 37,000人 が疑わしい武装要員としてマークされたという証言がある
- 複数の情報筋は、将校らが標的を独自に検証せず、男性かどうかの確認に通常 20秒 しか使わず、内部で約 10%の誤り を把握していながら「無誤差」方針を置かなかったと明かした
- 標的追跡には Where’s Daddy? のような自動化システムが使われ、標的が家族の住居に入ると爆撃対象にされ、下級標的には精密誘導弾より 無誘導爆弾(dumb bomb) が好まれたという証言がある
- イスラエル軍は、AIが標的を「起訴」したという主張を否定し、独立した情報分析と国際法の順守を掲げたが、情報筋は、民間人被害の許容値や自動化された付随被害計算、リアルタイム検証の欠如が大規模な民間人死亡につながったと見ている
Lavenderが担った標的生成
- 2021年に英語で出版された The Human-Machine Team は、戦争中に膨大なデータを素早く処理して数千件の軍事標的候補を作る「機械」を構想していた
- 著者は筆名「Brigadier General Y.S.」を使っており、+972とLocal Callは、彼がイスラエル情報部隊 Unit 8200 の現指揮官であることを確認したと述べている
- この本は、新たな標的を見つけ、標的承認の判断を下す過程における 人間のボトルネック を解消するため、AIと人間の結合を主張している
- 調査によると、イスラエル軍は実際に Lavender というAIベースのプログラムを開発しており、ガザ戦争中にAIを用いた暗殺標的生成に直接関与したイスラエル情報将校6人がこれを証言した
- このシステムは公式には、HamasとPalestinian Islamic Jihadの軍事組織の疑わしい構成員、特に 下級構成員 まで潜在的な爆撃標的としてマークするよう設計されていた
- 情報筋によると、戦争最初の数週間、軍はLavenderにほぼ全面的に依存し、約 37,000人のパレスチナ人とその住居 が空爆候補としてマークされた
- イスラエル軍報道官は+972とLocal Callへの回答で、そのような kill list の存在を否定した
「人間標的」の範囲拡大
- イスラエル軍で過去に「human target」とは、軍の国際法部門の規則上、民間人が周囲にいても私的住居で殺害できる 高位軍事要員 を意味していた
- 10月7日にHamas主導の武装勢力がイスラエル南部を攻撃し、約 1,200人 を殺害し 240人 を拉致した後、イスラエル軍は「Operation Iron Swords」で、Hamas軍事組織の構成員全体を階級や軍事的重要性に関係なくhuman targetに指定したと情報筋は語った
- 過去には、単一のhuman targetの暗殺を承認するには、将校が複雑で長い 起訴(incrimination) 手続きを経る必要があった
- 対象がHamas軍事組織の高位構成員かどうか証拠を突き合わせる
- 住居と連絡先を把握する
- 対象が家にいる時点をリアルタイムで把握する必要があった
- 標的リストが数十人の高位要員から数万人の下級要員へ拡大すると、情報業務は自動化ソフトウェアとAIに大きく依存するようになったと情報筋は説明している
- ある高位将校は、下級要員を自動で攻撃可能にすることが「Holy Grail」であり、自動化に切り替えると 標的生成が爆発的に増える と語った
Lavenderの動作方式とデータ
- Lavenderはガザ地区住民 230万人 の大半について、大規模監視体制で収集した情報を分析し、各個人がHamasまたはPIJの軍事組織で活動している可能性を 1〜100点 で評価する
- システムは既知のHamasおよびPIJ構成員の情報を訓練データとして受け取り、彼らの特徴、すなわち features を学習し、一般人口の中から類似した特徴を探す
- 書籍 The Human-Machine Team には、AIベースの「target machine」を構築する簡単なガイドがあり、個人のスコアを上げ得る特徴の例が含まれている
- 既知の武装要員と同じWhatsappグループにいる
- 数カ月ごとに携帯電話を替える
- 住所を頻繁に変える
- Unit 8200のData Science and AI Center指揮官「Col. Yoav」は、2023年のTel Aviv University AI week非公開講演で、既存の武装要員リストとの類似性に基づいて「危険な人物」を検出する標的マシンを説明した
- 彼は2021年5月のガザ軍事作戦で、このシステムによりHamasミサイル部隊の指揮官を特定したと述べた
- 講演スライドは、既存のHamas要員データを入力し、特徴を学習した後、他のパレスチナ人を類似度に応じてスコア化する構造を示していた
- 「Col. Yoav」は最終決定は人間が下すと強調したが、最近Lavenderを使用した情報筋は、実際には 人間の精密判断 が大量の標的生成と致死性に置き換えられたと話している
承認手続きと誤り許容
- 情報筋によると、Lavender標的リストの自動採用は戦争開始から約 2週間後 に承認された
- 情報要員がAIの選んだ数百件のサンプルを手作業で確認した
- そのサンプルでは、LavenderがHamasとの関連性を特定する精度が 90% に達すると評価された
- その後、Lavenderがある個人をHamas武装要員と判断すると、将校らは元データや判断理由を独立に確認する必要なく、事実上それを命令のように扱ったという
- ある高位将校は、内部点検ではLavenderの計算は90%しか正確でないと見なされており、これは暗殺標的の 10%がHamas軍事組織の構成員ではない可能性 を意味すると語った
- 情報筋によると、Lavenderは通信パターンが既知のHamasまたはPIJ構成員と似ている人物を誤ってマークすることがあった
- 警察や民間防衛要員
- 武装要員の親族
- 実在の要員と名前やあだ名が同じ住民
- 過去にHamas要員が使っていた機器を使用したガザ住民
- ある情報筋は、「無誤差方針」はなく、誤りは 統計的に 扱われたと述べた
- 別の情報筋は、下級武装要員の標的では、情報将校の時間をかけて検証する価値は低いとして、AI利用の誤差範囲と民間人死亡リスクを受け入れたと説明した
人間による検証は男性かどうかの確認にとどまる
- イスラエル軍は、AIを使って標的を起訴したという主張を否定し、この種のツールは起訴過程を助ける 補助ツール にすぎないと答えた
- 軍の回答では、いかなる場合も情報分析官による独立レビューが必要であり、特定された標的が軍の指針と国際法に適合する合法的標的かどうかを検証するとしている
- しかし情報筋によると、Lavenderがマークした下級の疑わしい武装要員の家を爆撃する前に行われる実際の人的監督手続きは、ほぼ一つの確認に近かった
- AIが選んだ標的が 女性か男性か を確認する
- 軍内部には、HamasとPIJの軍事組織には女性がいないため、標的が女性なら機械の誤りである可能性が高いという前提があったという
- ある高位将校は、標的1件あたり通常 20秒 を使い、男性の声かどうかを確認する程度が自分の唯一の人的付加価値だったと語った
- この方式では、Lavenderが民間人男性を誤ってマークした際に誤りを見抜く監督装置はなかったと情報筋は指摘している
Where’s Daddy? と家族住居の追跡
- 次の段階は、Lavenderが作成した標的をどこで攻撃するかを決めることだった
- イスラエル軍は、Hamasが民間人口の集中地に要員や軍事資産を配置し、病院・モスク・学校・UN施設のような民間構造物の中で戦闘を行っていると主張している
- 6人の情報筋も、Hamasのトンネル網が病院や学校の下を通り、武装要員が救急車を利用し、軍事資産が民間建物の近くに配置されていた点をある程度認めている
- 同時に情報筋は、現在の爆撃で死亡者数が前例なく増えた主な理由の一つは、軍が標的を 私的住居 で家族と一緒にいる時に体系的に攻撃したためだと語った
- 自動追跡ソフトウェアは数千人を同時に追跡し、標的が家に入ると標的担当将校に自動通知を送ったという
- その一つが初めて公表された Where’s Daddy? である
- ある情報筋はこれを「broad hunting」と呼び、標的システムが作ったリストをコピーして入れ、誰が殺害可能になるか待つ方式だと説明した
- UNの数値によると、戦争最初の1カ月の死者の半数以上にあたる 6,120人 は 1,340家族 に属しており、多くの家族が家の中で完全に壊滅した
- Lavenderリストの名前をWhere’s Daddy?に入れると、その人物は継続監視され、家に入った瞬間に家全体を崩壊させる攻撃対象になり得たという証言がある
兵器選択と無誘導爆弾
- Lavenderが暗殺標的をマークし、軍要員が男性かどうかを確認し、追跡ソフトウェアが住居内の位置を捉えると、次の段階は爆弾の選択だった
- CNNは2023年12月、米情報機関の推計を引用し、イスラエル空軍がガザで使用した弾薬の約 45% が誘導されない 無誘導爆弾(dumb bomb) だと報じた
- 3人の情報筋は、Lavenderがマークした下級要員の暗殺には、より高価な精密兵器を節約するため無誘導爆弾だけが使われたと語った
- ある情報筋は、下級標的が高層ビルに住んでいる場合、より精密で高価な「floor bomb」を使いたくないため攻撃しなかったが、数階建ての建物に住んでいるなら無誘導爆弾で建物内の人々ごと殺す攻撃が承認されたと説明した
- 別の情報筋は、システムのため標的は尽きず、一つの攻撃が取り消されればすぐ次の標的へ移ったと語った
民間人死亡の許容値
- 情報筋によると、戦争初期の数週間、AIシステムがマークした下級武装要員1人あたり、許容可能な民間人死亡数は 15人または20人 に固定されていた
- この「collateral damage degree」は、階級、軍事的重要性、年齢に関係なく、疑わしい下級武装要員全体に広く適用され、個別事案ごとに軍事的利益と予想される民間人被害を比較しなかったという
- ある標的作戦室の将校は、軍の国際法部門が過去にこの水準の付随被害を 包括承認 したことはなかったと語った
- 彼は、過去1〜2年の間にHamasの軍服を着た人物であれば、特別許可なしに民間人20人の付随被害とともに爆撃でき、実際には比例性原則は存在しなかったと述べた
- 別の高位情報筋は、戦争最初の1週間は付随被害をほとんど考慮せず、その後制限が下がり、また上がったと説明した
高位指揮官標的とより大きな民間人被害
- 情報筋によると、現在、軍が民間住居内の下級human targetを大量生成して爆撃する方式は、もはや使われていない
- 一部は米国の圧力が影響したとしている
- ガザ地区の多くの住宅がすでに破壊または損傷し、ほぼ全人口が移動したため、情報データベースや自動住居追跡プログラムに依存しにくくなったという
- 下級要員への大量爆撃は戦争最初の1〜2週間に主に行われ、その後は爆弾を節約するため中止されたという情報筋もいる
- しかしHamasの高位司令官を狙った空爆は続き、この場合、標的1人あたり 数百人の民間人死亡 を軍が承認していると情報筋は語った
- 12月2日にShuja’iya Battalion司令官Wisam Farhatを狙った爆撃について、ある情報筋は民間人 100人以上 が死亡すると分かっていたと振り返った
- 10月17日、Al-Bureij難民キャンプでHamas Central Gaza Brigade司令官Ayman Nofalを暗殺するため、約 300人 の民間人死亡が承認され、複数の建物が破壊されたという証言もある
- General Peter Gerstenは2021年、米国の防衛メディアに対し、ISIS対応作戦で民間人15人の付随被害を伴う攻撃は手続きを逸脱しており、当時の米中央軍司令官Lloyd Austinの特別許可が必要だったと述べている
10月7日以降の軍内部の雰囲気
- すべての情報筋は、10月7日のHamasによる虐殺と人質拉致が、イスラエル軍の火力方針と付随被害の許容値に大きな影響を与えたと語った
- ある情報筋は、初期の雰囲気は苦痛に満ち、報復的で、規則は非常に緩かったと説明した
- 別の情報筋は、専門組織の内部に「ヒステリー」があり、軍はどう対応すべきか分からず、Hamasの能力を解体しようとして激しく爆撃し始めたと語った
- ある情報筋は、明示的に「復讐」が目標だという指示はなかったが、Hamasとつながるあらゆる標的が合法化され、ほぼすべての付随被害が承認されれば、数千人が死ぬのは明らかだったと述べた
- イスラエル軍は、各標的は個別に検討され、攻撃の軍事的利益と予想される付随被害が評価され、予想される付随被害が軍事的利益に比べて過大であれば攻撃しないと回答した
付随被害計算の自動化
- 情報筋によると、各家で標的とともに死亡すると予想される民間人数の計算も 自動化され、不正確なツール によって行われていた
- 過去の戦争では、情報要員が爆撃予定住宅の中に何人いるか確認するのに多くの時間を費やし、その数は「target file」に記録されていた
- 10月7日以降、こうした徹底した検証は概して中止され、自動化に置き換えられたという
- 情報筋が説明した方式は、戦争前の各住宅の居住者数を建物規模と居住者リストで推定したうえで、その地域から避難した住民の割合だけ数を減らすモデルである
- たとえば地域住民の半分が去ったと推定すれば、普段10人住む家は5人いると計算する
- 軍は時間を節約するため、過去の作戦のように実際の住宅監視で現在の居住人数を確認しなかったという
- ある情報筋は、このモデルは現実と結びついておらず、戦前の登録居住者と戦時中に実際に家にいる人が一致しないと語った
- 同じ情報筋は、軍がこうした誤りの可能性を知っていながら、より速いという理由で不正確なモデルを採用したと説明した
リアルタイム検証の欠如と爆撃後確認の縮小
- 情報筋によると、Where’s Daddy? のような追跡システムが標的の帰宅を知らせた時点と実際の爆撃との間にはかなりの時間差があり、そのため標的不在のまま家族全体が死亡する場合があった
- 3人の情報筋は、イスラエル軍が家族住居を爆撃したものの、後になって暗殺対象が家の中にいなかったと確認された事例を目撃したと語った
- ある情報筋は、標的が数時間前に家にいたためそのまま爆撃することがあり、ときには位置を再確認するが、ときには再確認しないと説明した
- 別の情報筋は、午後8時に標的が家にいると把握したが、空軍が午前3時に爆撃し、その間に標的は家族とともに別の家へ移動しており、爆撃された建物には子どものいる別の2家族がいたと語った
- 過去のガザ戦争ではhuman target暗殺後、爆撃被害評価である BDA 手続きが行われていたが、現在の戦争でAIがマークした下級武装要員に関する攻撃では、時間を節約するためこの手続きが廃止されたと情報筋は語っている
- 情報筋は、下級のHamas・PIJ疑い標的への攻撃で、実際の民間人死者数を把握しておらず、標的本人が死亡したかどうかも分からなかったと述べた
1件のコメント
Hacker Newsのコメント
Didier Bigoのような研究者たちはかなり前から、「テロリスト」や「犯罪者」との間接的なつながりだけで個人を標的にすることに懸念を示してきた
もともとはSnowdenの暴露で明らかになった監視の文脈で使われ、特定された人物から例えば3段階以内にいる人まで標的にし、適正手続きや標的型監視の意味を崩していた
今ではそうしたAIシステムが単なる監視ではなく、実際に人を殺すために使われている
国際人道法は、戦闘員や武装組織の「戦闘員」ではない人を殺害することを禁じている。敵対行為に「直接参加」する「継続的機能」を持つ人だけが、いつでも攻撃対象になり得る
つまりHamasの武装組織構成員だけが攻撃対象になり得るのであり、勧誘担当者・武器製造者・宣伝担当者・資金担当者などは逮捕するか裁判にかけるべきだ。そうでなければ通常戦でも、軍に融資した銀行員のように、ほとんどすべての民間人が標的になり得る
Lavenderが恐ろしいのは、国際法上攻撃から保護される人々をイスラエルが大量に標的化できるようにし、テロリストとの関連という薄っぺらな政治的正当化だけを与えるからだ
https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...
第二次世界大戦中、ドイツがコンピューターを初期に使用した例も、強制収容所へ送る人々のリストを作成・処理することだった。今日の違いは、より多くのデータをより速く大規模に収集・処理できるという点だけだ
もちろん、誰かが詮索したり質問したりできないよう、すべては機密に分類され、アクセスは制限される
Guardianの記事でIDF報道官は、このシステムは存在するが電子的な用途にのみ使われていると述べており、当初の意図や上層部の認識はそうなのかもしれない。だが実際には後者へ変わっていたのだろうと思う
結局、人口の大半にIDFでの兵役義務があるからだ
国際法は、得られる軍事的利益が民間人の死亡と釣り合うなら、そうしたインフラを標的にすることを認めている
だから個人を標的にすることはできないが、国際法上は、その人たちが中にいる間にその建物を攻撃することに軍事的価値があるなら問題ない、という結論になる
こんなことまで考えることになるとは思わなかったが、このソフトウェアを作成・開発した人たちが殺人や人道に対する罪で裁かれるべき案件なのか考えてしまう
現在の形のAIは、こうした用途の近くに置いてはいけない技術だと理解している
推論モデルは、望む特定の結果について正確に評価できるという点で、本質的にかなり非決定的であり、低い精度でも出すには大規模な学習データが必要だ。だがそのような学習データは存在しない可能性が高く、全体が巨大な幻覚の上に築かれているように思える
このAIモデルが10%でも正確なら驚くし、1%未満でも驚かない。読んだ限りでは、精度が肝心ですらないようだ
Guardianの記事 https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai... を見て、AI開発そのものを許可すべきなのかまで考えるようになった
この特定の応用とその名目は、公に明らかになった技術の意図的な悪用の中でも、最も露骨な例に近いと感じる。これはナイーブな判断だろうか
その中間には、説明可能な結果を提供する決定木のようなものもある
「AI」は特定のジェノサイド行為を後から正当化するための装置であり、実際には怒りと人種主義に突き動かされた昔ながらの無差別虐殺に近い
そのうえで責任はないと主張し、機械の中の幽霊のせいにするのだろう
この話がイスラエルをどれほど悪く見せるとしても、それでも少なくとも武装戦闘員を殺そうとしていた、という形で責任逃れをしようとしている内容のように読める
最初から、記者、医療従事者、救援物資の配給に関わる人々を標的にして、Gazaでの生活を不可能にすることが目的だったのは明らかだった
記者、援助活動家、医療従事者を意図的に殺す方針があったなら、死者ははるかに多かったはずだ
Hamasがそうした役割を作戦の隠れみのとして使うことを理解できないなら、極度にナイーブか、一方に偏っているということだ
イスラエルの行動を正当化しようとしているわけではなく、その行動はめちゃくちゃだが、これまでの証拠から見ると元の主張は明らかに間違っていると思う
私たちがこれを話題にしているという事実自体が偶然ではない可能性が高く、軍は技術的に先を行っていて、自分たちが何をしているか分かっているのだから疑うな、とイスラエル人を説得する戦略のように見える
AIがあろうとなかろうと、ジェノサイドを行い、あらゆる国際人道法に違反していただろうが、そのジェノサイドが正当だといまだに信じている人々には、これがイメージ改善効果を持ちうる
AIが誰かを先制的に殺せる決定に使われうるという考えは不快だ
たとえば自動運転車のナビゲーションのように、コンピューターはすでに受動的に人を死なせる決定をしているのかもしれない。今回の場合は人間の承認手続きがあったというが、人間の介入なしにロボットが人を殺す状況まではあと一歩で、それはTerminatorの筋書きとも一歩違いだ
こういう場合の代替案が何なのか気になる。軍事戦略はほとんど知らないが、AIがなければイスラエルが標的をもっと少なく選んだのか、それとももっと手当たり次第に選んだのかは分からない
この記事を読んで、イスラエルがAIを使っていなければ爆弾をまったく落とさなかっただろうと想像する誤読もあるようだが、戦争中であることを考えれば、それは明らかに可能性が低い。戦争では無実の人を含めて人が死ぬ。だからこそ皆が戦争を嫌悪し、今の戦争が一刻も早く終わることを望んでいるのだ
内部点検でLavenderの計算精度は90%にすぎないと見なされていたにもかかわらず、そうした監督不在が許されており、言い換えれば、暗殺対象に指定された人間標的の10%はHamasの軍事組織員ではないという事実を事前に知っていたということだ
だから人間の承認手続きはなかった。方針自体は誰かが命じたのだろうが、継続的に生成される暗殺標的は、AIシステムの予測だけで承認されたことになる
「時間を節約し、妨げなく人間標的の大量生産を可能にするため」という文は、恐ろしくディストピア的だ
そうすれば小さなAIも必要なかったはずだ
代替案のほうが悪かったかもしれない、という話もおそらく正しい可能性がある。Lavenderを作った人々はデータでそれまで証明するかもしれない
それでも、どんな場合でも人間をプロセスの中に置くべきだという道徳的圧力はなければならない。そうした正当化の試みは、Gazaの民間人の頭上で起きているSkyNet式の終末シーンほど大衆の関心を集めないだろう
Torment Nexusを作らないという観点から出発すれば、Torment Nexusを作らないことはずっと簡単になる
多くの人はタイトルだけ見て通り過ぎるだろうが、どうか本文を読んでほしい
2段落目はこうだ。「情報源らは、LavenderというAIシステムの使用について語るとともに、イスラエル軍当局者が、とくに紛争初期の数週間から数か月にかけて、多数のパレスチナ民間人が殺害されることを容認したと主張した」
Serialポッドキャストの今シーズンをすべて聴くことを勧める
「大量のデータを処理し、標的にする可能性のある『下級』要員を素早く特定した。4人の情報源は、戦争初期のある時点で、LavenderがAIシステムによってHamasまたはPIJとつながりのあるパレスチナ人男性を最大37,000人までリスト化したと述べた」
これは、2001年にGuantanamoや、もっと秘密の刑務所へ送る人を選び、その場所を爆撃していたやり方と大きく違わない
何よりも、企業世界と同じように、軍のエンジニアたちがAIという流行語を誇張し、AIが存在する前からやっていたことをそのままやっている感じだ
PayPalアカウントでISISと特定されたアカウントに送金すれば、米国の三文字機関がすぐにやって来るだろう。ユーザー証言を見ると、これもまさにそういうものに聞こえる。どの場所を爆撃するかはAIではなく人間が決めた
「NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’」
https://www.computerworld.com/article/2475921/whistleblower-...
「われわれは、[Hamas]の工作員が軍事施設の中にいるときや、軍事活動に関与しているときだけ殺害することに関心があったわけではない」と、情報将校Aは+972とLocal Callに語った
「むしろIDFは、彼らを自宅でためらいなく爆撃しており、それが第一の選択肢だった。家族の家を爆撃するほうがはるかに簡単だ。システムはそうした状況で彼らを見つけるよう作られている」
ガザには約200万人の民間人が暮らしており、その多くは食料・水・医薬品・安全な避難場所にアクセスできない。その不運な人々の一部は、Hamas工作員とその家族の上や下に住んでいる
「あ、ごめん（笑）」「意図したわけじゃない（笑）本当だよ」「われわれのドクトリンでは敵対工作員1人につき民間人X人を殺してよいことになっているから心配するな」といった具合だ
ガザ戦争はウクライナとは違う。ウクライナとロシアの村人は、前線からロシア側や西側のガリツィア方面へ移動できるし、主要な人口集中地を完全に平らにしているわけでもない
ガザでは、誰でもいつでも、どんな理由でも、あるいは理由なしに殺され得るように見える。イスラエルの「戦略」は、ウクライナとロシアでさえ自制と文明の模範に見せてしまう
ただし今回の戦争は、Hamasも規則に従わず、民間人に近づきすぎていることを示している
この技術が実際にどれほど正確なのか、それとも結果にはほとんど関心がなく、先端的に見えるイメージのほうに関心があるのか気になる
一方では、こうした技術が存在すると考えると恐ろしいが、他方では出力があまりに偏っていて、単なるゴミの山かもしれない
もっと怖いのは、権力者たちが「正確さ」には関心がなく、自分たちの偏見を裏づける正当化に関心があるという証拠である点だ。昔からそうだったが、これがAIで拡張される点がより致命的だ
以前は、嘘をつける人間の数が限界だったが、今では魔法のブラックボックスがどれだけ速く回るかが限界になっている
この人物は武装しておらず、職務上、慈善チームがどこへ行くのかをイスラエル当局に知らせて通行を確保する役割を担っており、英国の家族が死亡を確認した。そのため自然に、こうした状況で標的殺害を誰が承認したのか、という問いが生じる
事後の写真を見ると、ミサイルは車両の屋根を貫通しており、皮肉にも車の上にはっきり見える食料慈善団体のロゴのすぐ横だった
イスラエル国防相はいまではミスだったと主張しているが、調査によれば、実際に標的を命中させたケースであれば、交戦規則上、無関係な付随的死亡者15〜100人も許容されていた可能性がある
とくに「AI」がどのように結論に至ったのか監査しにくいならなおさらだ。いまや誰でも標的になり得る
米国の警察が「大麻の臭いがした」と言ったり、探知犬が「反応した」と言ったりするのに似ている。どんな捜索でも、ここではどんな殺害でも、正当化する手段を提供する。機械はひたすら回され続ける
2018年にGoogle CEOのSundar Pichai、SVPのDiane Greene、SVPのUrs Hölzle、チーフエンジニアのJeff Deanが、米軍のためにLavenderのようなシステムを作った。Project Mavenだ
米軍はこのシステムを、大量監視ドローン映像を分析してPakistanで暗殺する容疑者を選ぶために使おうとしていた。すでに数百軒の家屋や車両に爆弾を落とし、数千人の容疑者とその家族・友人を殺害した後だった [0]
当時、私はUrsのGoogle Technical Infrastructure部門で働いていた。そのプロジェクトをニュースで読み、Ursは関連会議で契約規模は900万ドルにすぎないと私たちに嘘をついた。すでに1,800万ドルに拡大しており、2億7,000万ドルへ向かっているところだった
UrsとJeff Deanは、自分たちがしたことの影響を小さく見せようとした。Jeff Deanは影響を小さく語るとき、ずっとまばたきをしていたが、技術的な側面を話し始めると突然まばたきをやめた。その瞬間、彼と会社のリーダーシップに対するすべての敬意を失った
工学や事業の能力が優れているからといって、成熟した道徳性が伴うわけではない。残念ながら私たちの社会は、リーダーが必要な道徳教育を受けられるよう保証したり、道徳的判断に完全に失敗したときに彼らを排除したりする構造にはなっていない
[0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan
Guardianもこの話を一面に掲載しており、発行前に詳細を共有されていた
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
個人的には、こうした話は公益に関わる問題だと思う。直接要求するつもりはないが、フラグが解除され、議論が進むことを望む
フラグが解除され、統合されるとよいと思う。技術の新しい使われ方に関する重要な話に見える
[0] https://news.ycombinator.com/item?id=39917727