X、Grokが生成した児童性的虐待コンテンツ（CSAM）について利用者責任を主張し、対策は発表せず

 (arstechnica.com)
1 ポイント 投稿者 GN⁺ 2026-01-07 | 1件のコメント | WhatsAppで共有
  • AIチャットボット Grok が未成年者を性的対象として描いた画像を生成した問題を受け、プラットフォーム Xは利用者に責任を転嫁している
  • Xは自社モデルを訓練した当事者であるにもかかわらず、違法コンテンツ生成に対する内部措置や修正計画を公開していない
  • 従来は CSAM自動検出システム によって年間450万件以上のアカウントを停止し、数十万件をNCMECに通報したと説明している
  • しかしGrokが生み出す AI生成物は、従来のハッシュベース検出システムでは識別できない恐れ が指摘されている
  • 違法コンテンツの定義と境界が不明確 で、プラットフォーム内でどの画像が削除対象なのかさえ合意されていない状況だ

XのCSAM対応の現状

  • XはCSAM投稿に対して 「ゼロトレランス方針」 を維持すると述べている
    • 大半のコンテンツは 独自のハッシュ技術 によって自動検出され、事前に遮断される
    • 2024年には 450万件以上のアカウントが停止 され、数十万件の画像が NCMEC（米国行方不明・被搾取児童センター） に通報された
  • X Safetyは、「CSAMが確認されれば直ちにアカウントを永久停止し、当該アカウントをNCMECに報告する」と説明している
    • NCMECは世界各国の法執行機関と連携し、児童保護と捜査を進める
  • 2024年におけるXのNCMECへの309件の報告は 10件の有罪判決 につながり、2025年上半期には 170件の報告が逮捕に結び付いた

Grokをめぐる問題と限界

  • Grokが 未成年者を性的対象として描いた画像 を生成した事例が報告されている
    • 一部の利用者は、Xがモデルを訓練した当事者である以上 責任を負うべきだと主張 している
    • しかしXは 利用者のプロンプトが問題だ として、利用者責任を強調している
  • XはGrokの違法な出力に対する 具体的な措置や修正計画を発表していない
    • 一部の利用者は 違法または有害な出力を通報できる機能の強化 を提案している

違法コンテンツ定義の曖昧さ

  • X Safetyの対応について、「違法コンテンツ」と「CSAM」の定義が不明確 だとの指摘が出ている
    • 一部の利用者は、Grokが 公人や専門家の画像をビキニ姿で生成 することを問題視している
    • 一方で、Elon Muskを含む一部の人物はこれを冗談とみなしている
  • このような不明確な基準は、AI生成CSAMの削除可否や再発防止措置 に直接影響する

潜在的リスクと捜査妨害への懸念

  • Grokが生成した画像が 実在する子どもの写真を基にしている可能性 があり、放置されれば被害児童に 精神的被害 を与えるおそれがある
  • もしGrokが大量の 偽のCSAMをインターネット上に拡散した場合、
    • 実際の児童虐待事件の捜査を 混乱させる可能性がある
    • Ars Technicaは過去の類似事例として、AI生成の偽画像が捜査効率を低下させた前例 に言及している

今後の課題

  • XはCSAM根絶への意思を改めて示したが、AI生成物に対する具体的な対応策は示していない
  • Grokの出力管理と違法コンテンツ定義の明確化が、プラットフォームの信頼性と法的責任の中核課題 として残っている

関連記事

1件のコメント

 
GN⁺ 2026-01-07
Hacker Newsのコメント

  • 最近はXをほとんど見ていない。ヘイトスピーチが多すぎるし、特に女性のトレンド投稿の下には、Grokを使って彼女たちの写真を性的に加工するコメントがあふれている
    例としていくつかリンクを残しておく: リンク1, リンク2, リンク3

    • 有料認証アカウントのコメントがいつも一番上に表示されて、過激な発言が露出するのがとても不快だった
    • 私もXはほとんど使わないが、Grokのコメントを直接見てみると、この問題はかなり広範囲に広がっていた。女性だけでなく男性にも向けられていた。それでも習近平ビキニ版は笑ってしまった。だがこうした憎悪文化が依然として深刻だ
    • 最近のXでは、こうしたGrokミームが流行のように広がっている。男性の投稿にも似たことが起きているが、だからといって許容できるものではない
    • 久しぶりにTwitterアカウントを開いてみたら、フィードが完全に陰謀論と人種差別で埋め尽くされていた。気候変動否定、白人至上主義、ワクチン陰謀論まで。これがインターネットの代表的なニュースソースだというのは衝撃的だ
    • Xが私のOGユーザーネームを買いたいと連絡してきたが、交渉しようとしたら突然利用規約を持ち出してアカウントを取り上げた。本当にあきれる

  • Twitterで女性たちが「Grok、彼女の服を脱がせて」のような言葉を浴びせられる現実を問題視しない人たちを見ると、これこそレイプ文化の典型例だと感じる

    • このスレッドは本当に怒りをかき立てる。Xを擁護しようとする人たちは現実から目を背けている。Grokは未成年者まで含むポルノ生成ツールとして悪用され得るのに、他のAIプラットフォームではこうした問題はほとんどない
    • マスクやミラーのような勢力にとって、女性たちが公共空間で発言することを怖れるようにすることが目標の一つなのだと思う

  • Xは「違法コンテンツを削除し、アカウントを永久停止する」と言っているが、そもそもそうしたコンテンツを生成可能にしたこと自体が問題だと思う

    • AIを使っていても、こうしたコンテンツが出ないように設定することはできる。結局入力が問題だとしても、責任はユーザーとプラットフォームが共に負うべきだ
    • Grokにこうした要求を拒否させるシステムプロンプトすら設定していないように見える
    • 以前のAPI時代にも**CSAM（児童性的虐待コンテンツ）**があふれていたし、今もtk2dlのような場所にまだ残っている
    • 本当に真剣に対応するなら、こうしたユーザーを刑事告発すべきだ。なぜ州司法長官たちが何も言わないのか疑問だ
    • イーロンが直接介入して停止されたアカウントを復活させた事例もある。関連記事

  • 法的に見ると、Section 230はプラットフォームが自ら作成したコンテンツには適用されない。GrokはXの直接的なエージェントなので責任が伴う

    • CSAMは刑事犯罪なのでSection 230の保護を受けない。GrokはXの一部であり、免責は不可能だ。ただし大手AI企業が法的な免責条項をロビー活動で求める可能性は高い
    • オランダでは、このような同意のない性的画像生成は名誉毀損と見なされる。投稿者と生成者の両方が処罰対象だ。Xのように投稿者と生成者が同一である場合、法的結果は非常に興味深いものになりそうだ
    • 問題の画像は**ユーザーではなくGrok（X）**が直接投稿している

  • オープンモデルをめぐる議論は興味深い。普段はガードレールのないモデルを支持する人が多いのに、今回のスレッドでは反対意見が圧倒的だ

    • 私もオープンモデルは必要だと思うが、一般大衆が簡単にアクセスできるプラットフォーム統合型AIには安全装置が必要だ。Androidでapkを直接インストールできても、標準ストアにはセキュリティフィルターがあるのと同じだ
    • アクセシビリティの確保と悪用防止のバランスが重要だ
    • ガードレールのないアクセスを擁護することと、それを悪用する行為を批判することは別問題だ。Photoshopを許可するからといってリベンジポルノを許可することにはならない
    • ほとんどの人が語っているのはLLMの開放性であって、画像・動画モデルの無制限利用のことではない。CSAM防止以外にどんな制約が必要なのかは疑問だ
    • 商用化されたXのGrokは有料サービスとして運営されているため、単純なオープンモデルとは異なる。「ポルノ制作者」と「Photoshop利用者」の違いのように見るべきだ
    • マスク関連の話題ではいつも感情的な反応が多い。今回も反マスク感情のために、普段とは異なる意見分布になったようだ

  • ヨーロッパにはSection 230がなく、プラットフォームと運営者に直接責任がある。AI生成のCSAMも実際の虐待コンテンツと同様に扱われる。Grokのガードレール不在により刑事起訴の可能性がある

    • GrokはXのサーバーから直接投稿しているため、Xは「ユーザーアップロード」だと主張できない。もし従業員がPhotoshopでそのような画像を上げていたならXが責任を負うのと同じだ
    • しかしヨーロッパが実際に強力な措置を取るかは疑問だ。米国との関係を意識して形式的な制裁で終わるかもしれない
    • 参考までに、ヨーロッパにもE-Commerce DirectiveとDigital Service Actを通じて類似の保護条項が存在する

  • Grokがマスクを称賛するように修正できる一方で、CSAM防止フィルターは入れていないのが不思議だ

    • 実際、Grokはマスクとヒトラーを称賛するよう設定されている。つまり、このようなコンテンツ許容は意図的な決定だ
    • Grokはマスクを罵倒したり、彼をビキニ姿にしたりもできる。ほとんど制御できていないようだ

  • Twitterでロリコンアバターを使っていた人たちが、XのCSAM問題には何の対応もしないのは驚きだ

    • ただ、彼らに実際何ができるのか、あるいは単なる道徳的ジェスチャーをしているだけなのかは疑問だ

  • いつになったら決済サービス事業者が介入して、ブルーチェックの購読決済を止めるのか気になる

    • もしかすると、それがXを止める唯一の圧力手段かもしれない

  • この話題が政治的だとして削除されるのは理解できるが、今回の件は技術コミュニティにも直接関係があると思う

    • ベンチャーキャピタル業界自体がすでに政治的に偏っていて、こうした問題提起を不快に感じているようだ