武装警察、AIがドリトスの袋を武器と誤認し生徒を包囲

 (dexerto.com)
1 ポイント 投稿者 GN⁺ 2025-10-24 | 2件のコメント | WhatsAppで共有
  • 米国の高校で、AI武器検知システムの誤作動により生徒が武装警察に包囲される事件が発生
  • このシステムは、監視カメラ映像を分析して銃器の形状を認識する技術だが、実際にはドリトスの袋を銃と誤って判断した
  • 生徒は銃を向けられたまま手錠をかけられ、その後に警察が見せたAIのキャプチャ画像で誤検知が確認された
  • システムを開発した**Omnilert社は「誤検知ではあるが、システムは意図どおりに動作した」**と主張し、学校側もこれを支持する立場を示した
  • 今回の事件は、学校内AI監視技術の信頼性と倫理的限界をめぐる議論を引き起こし、AI依存社会の危険性を浮き彫りにした

事件の概要

  • 米メリーランド州ボルティモアのKenwood High Schoolで、16歳の生徒Taki AllenがAI監視システムの誤検知により武装警察に制圧される事件が発生
    • 事件は10月20日、Allenがフットボールの練習後に友人たちと一緒にいた際に起きた
    • 複数のパトカーが学校前に到着し、生徒たちに銃を向けて「地面に伏せろ」と命じた
  • Allenはひざまずいたまま手錠をかけられた状態で身体検査を受けたが、警察は何の武器も発見できなかった
    • 警察が見せたAIのキャプチャ画像では、彼のポケットの中のしわくちゃのDoritosの袋が銃器として認識されていた
  • Allenは当時、「死ぬかもしれないと思った」と語り、事件後は学校に戻ることを恐れていると明かした

AIシステムの仕組みと問題点

  • 問題となったシステムは、Omnilert社のGun Detection Technologyで、ボルティモア郡公立学校に昨年導入されたAI監視ソリューション
    • 既存のCCTV映像をリアルタイムで分析し、銃器の形状と推定される物体を検知すると即座に警察へ警報を送信する
  • Omnilertは今回の件を「false positive（誤検知）」と認めた一方で、システムは「意図どおりに動作した」と主張
    • 同社は「迅速な人間による検証を通じた安全確保」が目的であり、技術の根本的な問題ではないとの立場を取っている
  • しかし同社の広報資料では、「即時の銃器検知」や「ほぼゼロに近い誤検知率」を強調しており、今回の事件はその信頼性を揺るがすきっかけとなった

学校と地域社会の対応

  • Baltimore County Public Schoolsは保護者に送った書簡でOmnilertの立場を繰り返し、「生徒の安全と意識向上のための措置だった」と説明
    • 学校は事件を目撃した生徒のためにカウンセリングサービスを提供すると発表した
  • しかしAllenは、「学校から直接の謝罪や連絡は受けていない」と述べた
    • 彼は「単なる手順(protocol)だったと聞かされただけだ」として、学校の対応に失望を示した
  • 事件後、Allenは「またお菓子を食べたり飲み物を飲んだりしたら、また警察が来るのではないかと怖い」と話し、登校をためらっている

AI監視技術をめぐる議論の拡大

  • 今回の事件は、AI監視システムの信頼性と倫理的限界をめぐる議論を引き起こした
    • 特に学校のようなセンシティブな空間で、AIの誤検知が生徒の安全を脅かし得ることが明らかになった
  • 専門家は、AIの判断ミスが実際の武力対応につながる場合、人的被害に拡大する危険があると警告している
  • この事件は、AI技術の社会的責任と人間による検証手順の重要性を改めて浮き彫りにする契機となった

AI技術拡大に関連する国際動向

  • 同時期、米陸軍のWilliam ‘Hank’ Taylor少将が、ChatGPTを活用して軍事的意思決定を行っていると公表し、物議を醸した
    • これは公共機関や軍組織でもAI依存が急速に広がっていることを示している
  • 英国では、成人向けコンテンツへのアクセスのための顔認識ベースの年齢認証制度が導入され、別のAI論争が発生
    • 体中にタトゥーのあるある男性が、システムから「顔を削除してください(remove your face)」というメッセージを受け取ったと主張し、AI認識エラーの副作用を浮き彫りにした
  • これらの事例は、AIが人間の日常や公共安全の領域に深く浸透することで生じる予測不能な結果を示す代表的なケースと評価されている

関連記事

2件のコメント

 
onixboox 2025-10-24

逮捕されたという学生が、まさか黒人だったからというわけではないですよね？
 
GN⁺ 2025-10-24
Hacker Newsの意見

  • Omnilertはこの件を「false positive」だと認めつつも、システムは「意図どおりに動作した」と主張していた。
    しかし実際には、銃を持った人々が「ある10代が銃を持っている」という誤情報を受けて出動したことになり、極めて危険な状況を生み出した。
    その生徒はトラウマを負う可能性がある。皮肉なことに、記事中の引用を見ると、その生徒よりもこの技術を作った大人たちのほうが未熟に感じられる

    • 別の例として、Lawrence学区のAI監視システム訴訟の記事を見ると、生徒がグループチャットで冗談を言ったところ、それをAIが通報して逮捕され、24時間にわたって親や弁護士との面会なしに拘束されたことがあった。
      現在はGaggleを相手取って訴訟中で、競合のLightspeedは有料で人間がアラートを確認するオプションを提供しているという。
    • 「迅速な人間による検証で安全を確保する」と言いながら、結局は責任回避にすぎないように思える。
    • これは実質的に「AIが自律的にリソースを配備した」AI swarmの状況だ。人間の判断はなく、実行だけがあった。
    • どんなシステムにもfalse positiveとfalse negativeは存在するが、今回のケースではその両方が危険だ。
      検知モデルの品質を高めることに加えて、失敗時のコストを下げる仕組みが必要だ。人間による検証や二次確認の手順がその方法になる。
    • エンジニアは「公共の安全を助けるツール」として作ったのだろうが、マーケティングと営業がそれを「完全自動化された意思決定システム」として売り込み、結果として銃を向ける誤作動につながったという、風刺のような現実だ

  • こうした事件は、オープンソースの物体認識モデルYOLOを少し改変して商用化したもののように見える。
    実際にどれほど正確なのか、どんなデータで学習したのか、誤検知率がどれくらいなのか、誰にも分からない。
    こうしたシステムを配備するなら、統計と学習データの公開を義務化すべきだと思う。

    • 結局のところ、human in the loopという概念を完全に見落としていたわけだ。いずれこの会社は過失致死訴訟を起こされる可能性が高い

  • The Civil Rights Lawyerとして活動するJohn Bryanが、この件について取り上げそうだ。
    彼は、警察が不十分な情報で銃を向ける行為を、法的に**「過剰な武力行使」**だと批判してきた。
    もしAIと警察の両方が写真を見て銃だと誤認したのなら正当化される余地もあるかもしれないが、AIが自動で出動させたのなら正当性ははるかに弱い。

    • いつか法廷で「AIの証拠は数十億ドルが投じられた技術だから信頼できる」という主張を聞くことになるかもしれない。
    • 正当な理由のない武力行使が直ちに過剰な制圧に当たるのか、それともグレーゾーンがあるのか気になる

  • AIを技術的によく理解していない人たちに、こうしたシステムを任せるのは危険だ。
    彼らはAIの出力を盲信する可能性が高い。
    AI安全チームが本当に注力すべきなのは、「コンピュータは間違うことがある」という事実を社会に理解させることだ

  • 学校側は「生徒たちにカウンセリング支援を提供する」としたが、それよりも誤検知に対する金銭的責任を負わせるべきだ。
    こうした技術はまだ実験室段階にとどめるべきだ。

    • 誤った決定には責任者がいなければならない。意思決定者責任制だけが悪い判断を止められる。
    • すでに誤った対応に人員と資源が浪費されている。今や辞任や処罰が必要だ。
    • カウンセリングの代わりに心理療法用のギフトカードでも渡したのだろうか、と皮肉を言いたくなる。
    • もちろん技術には常にリスクが伴うが、たった一度の誤検知がすべての利点を無効にするとは思わない。
      ただし、誤警報と実際の検知の比率は透明に公開すべきだ

  • Palantirのような監視プラットフォームが社会全体に広がる時代が来ている。
    非決定的なMLシステムは、エラーが起きると人命被害につながりうる。
    権威主義社会ではこうしたエラーは隠蔽されるため、今こそ法的規制を求めるべきだ。

    • ただしこの件はPalantirではなくOmnilertに関するものだ。論点を混同してはいけない。

  • Omnilertは「システムは意図どおりに動作した」と言ったが、実際にはAIが人をスワッティングしたようなものだ。
    こうしたシステムが設置されている場所は、そもそも避けるのが安全だ。

    • 「バグではなく機能だ」という企業的な言い訳の典型だ。
    • こうした技術は結局、無実の生徒の犠牲を招くことになる。まだ技術水準がその段階に達していない。
    • 人間の安全を優先したという主張は明らかに嘘だ

  • 「迅速な人間による検証」と言いながら、実際には銃口の前での検証だった。

    • 「検証に時間を無駄にせず、即座に脅威を排除すべきだった」という発想は、さらに危険だ。
    • 警察が出動するときには、AIが検知した元の映像を即座に見られるべきだ。そうすれば誤検知を減らし、状況を正確に把握できる。
    • 次の段階は、「あなたがロボットではないことを銃で確認するCAPTCHA」になるかもしれない

  • 空港のTSAスキャナーを通るたびに、なんとなく緊張する。ファスナー付きのズボンのせいで、よく追加検査を受ける。
    今や街じゅうのAIセキュリティカメラが人を任意にフラグする時代になった。
    こうしたシステムは金になるため、統制なしに拡散する危険が大きい。

    • PrecheckやGlobal Entryを利用すれば検査頻度を減らせる。面倒だが現実的な解決策だ。
    • 検査を避けるために服装を変えようとするのは、セキュリティ劇場の副作用だ。いつか普段着まで調整しなければならなくなるかもしれない。
    • 市民が自ら意見をメールで伝えるべきだ。数百人でも動けば政治家は反応する。沈黙こそが最大の問題だ。
    • 一度、身分証の代わりに銃器携帯許可証を見せたら追加検査を受けたが、幸い問題なく通れた。
    • 友人はスキャナー通過後に私を待っていただけで「うろついている」とされ、再び調べられた。人種的偏見が働いたように思う

  • 「システムは意図どおりに動作した」という言葉は、現実版の**「Not a hotdog」**ミームのようだ。
    今回はただ「銃 / 銃ではない」の判定だっただけで、精度はそれよりもさらに低かった