- 2021年2月当時、週末でパンデミック中だったため、救急診療のために看護師が動画・写真を撮って送れば医師が事前に確認すると案内した
- 赤ちゃんの具合の悪い場所が「重要部位」だったため、よく見えるように写真を撮って送ったところ、医師が確認後すぐに抗生物質を処方し、ほどなく解決した
- しかしその写真のせいで、GoogleのアルゴリズムによってCSAM（児童性的虐待資料）をやり取りする人物と判断され、Googleアカウントが停止された
- 10年以上使っていたGmail、Googleカレンダー、写真や動画はGoogleクラウドにバックアップ、電話は Google Fi を利用
- 当事者のMarkは、技術企業でユーザーがフラグを立てた動画コンテンツを削除する自動化ツールのソフトウェアエンジニアですらあった
- そのため、こうした出来事の裏にはコンピューターが間違えないよう人間がいるはずで、その人が見れば問題は解決すると思っていた
- 事情を説明するメールを送ったが、Googleは追加説明なしにアカウントを復元しないと回答
- すべてのメール履歴、写真、連絡先が失われ、電話番号まで変えなければならなかった
- Markは知らなかったが、すでにGoogleの審査チームが彼の作成した動画を通報し、サンフランシスコ警察が捜査を開始していた
- 同様のことは、テキサスのCassioという人物にも起きた
- 2021年にGoogleへのCSAM通報は60万件を超え、27万件のアカウントが無効化された
- 2009年に Microsoft がPhotoDNA技術を開発し、2018年にはGoogleがCSAM画像を認識できるAIツールも開発
- Facebookをはじめ複数の企業がこの技術を使用
- 2021年12月、Markはサンフランシスコ警察から郵便を受け取った
- 自分が捜査対象になっていたことを知らせる内容とともに、Googleに送られた捜索令状の写しが同封されていた
- MarkのGoogleアカウント内のあらゆるもの（インターネット検索、位置履歴、メッセージ、文書、写真、動画など）が調べられていた
- この捜索は、2月に写真を撮ってからわずか1週間後に行われていた
- Markが捜査官に連絡すると、すでに事件は嫌疑なしで終了していたと言われた
- 捜査官はMarkに連絡を取りたかったが、電話もメールもつながらなかったという（停止されていたため）
- 捜査官経由でGoogleアカウントを復元できないか尋ねたが、「Googleと話すしかない」と言われた
- この警察報告書をGoogleに提出したが無駄だった
- Cassioもまったく同じように問題は解決したが、Googleアカウントの復元は不可能だった
- 医療用画像と虐待画像をAIは区別できるのか？
8件のコメント
ついに国内ニュースでもニューヨーク・タイムズを引用して報じられましたね。
"Google、診療のために乳児の息子の性器を撮影した父親を性犯罪者扱い"
70年前に核爆弾を目の当たりにして科学者たちが科学への自己監視を始めたように、開発者たちにも巨大テック企業に対する自己監視が必要な時期なのではないかと思います。
ここまでくると、訴えてもいいレベルでは…？
アーカイブされた元記事によると、MarkもGoogleを訴えられるかどうか弁護士に相談したものの、約7,000ドルの費用がかかると分かって断念したようです。
土下座しても足りないような状況だと思うんですが……
いや、これはむしろ被害を与えたことに対する補償を受けるべき案件のように思えますが、その件をうやむやにするためにあのように対応しているのでしょうか？
Googleの対応や処理のレベルが低いですね..
Apple、子どもの保護のための新しい安全機能を導入
Apple、「iPhoneスキャン」論争に遺憾