Google AI Overviewが私について虚偽の話を作り上げた

 (bsky.app)
15 ポイント 投稿者 GN⁺ 2025-09-02 | 4件のコメント | WhatsAppで共有
  • Benn Jordan は最近、いくつかのメッセージやタグを通じて イスラエルに関する立場 を明確にしてほしいという要請を繰り返し受けていた
  • 彼はこれまでも、自身が ジェノサイドに反対 し、パレスチナ国家の樹立を支持する立場 であることを公に示してきたにもかかわらず、奇妙なメッセージが届いていた
  • 確認したところ、Google AI Overview が 事実ではない elaborate story（精巧だが虚偽の話） を Benn Jordan の名で作り上げ、拡散していた
    • Google AI Overview が Benn Jordan についてまとめた内容

      エレクトロニック・ミュージシャンでありサイエンス系YouTuberでもある Benn Jordan が最近、イスラエル・パレスチナ紛争に関与してオンライン上で大きな論争と議論を呼び起こしたとして、彼がイスラエル旅行の経験を共有し、ガザ国境近くのキブツ住民にインタビューした「I Was Wrong About Israel: What I Learned on the Ground」というタイトルのYouTube動画をアップロードしたと説明している。この動画には、ガザ国境のキブツ住民へのインタビューを通じて紛争を直接理解する内容が含まれており、公開後はソーシャルメディア全体で議論やコメントを呼んだという。

  • しかし Benn Jordan はイスラエルに行ったことが一度もない。そのような動画を投稿したこともなく、これは軍事関連の動画を投稿する Ryan McBeth という人物と取り違えたものだった
  • この AI の結果により、本人の実際の立場とは正反対の誤解が広まり、結果としてユーザーに 誤った世論や社会的圧力 が加えられることになった
  • Benn Jordan は弁護士と、訴訟が可能かどうか協議中

関連記事

4件のコメント

 
monotyp3 2025-09-02

AI Overviewの信頼性が低いのは有名ですが、これはちょっと深刻ですね
 
reagea0 2025-09-02

これは訴訟ものでは……？
 
xguru 2025-09-02

わあ、この話は本当に衝撃的ですね。
特定のイシューによってこうなってしまう状況が自分にも起きたら、どんなことが起こるのかと思うと恐ろしいです。
 
GN⁺ 2025-09-02
Hacker Newsのコメント

  • AIのハルシネーションと正確性不足が、今後私たちの生活にどれほど大きな影響を及ぼすかを示す典型的な事例だと思う。この話題は非常に繊細で重要なのに、見出しレベルでしか語られない現実が恐ろしく感じられる。特に一般の人々がこのツールの仕組みをきちんと理解していなければ、なおさら問題だ。以前は人間でも最低限は情報に目を通していたが、AIにはそれすら期待しにくい

    • AIとの対話結果や回答を、そのままGitHubのissueやメールなどにコピペして使っている人を何度も見た。そして、こうしたモデルの出力を無批判に信頼する人がますます増えているように感じる。Google検索結果の一番上に出る「要約」も同じだ。自分が読んだほぼすべての要約には、少なくとも1つは致命的な誤りが含まれていた。もし自分がよく知らないテーマだったら、そのまま信じていたかもしれない。全体として「信頼しつつ検証せよ」という言葉はますます重要になっていると思うが、実際には今や信頼そのものも制限すべきだと思う

    • AIモデルを作るために著作権のあるコンテンツを大量に収集することが、変形的利用だという理屈が正当化の根拠として使われている。もしこの主張が正しいなら、Googleのような企業はこうした結果に責任を負うべきだと思う。変形的作品なら、誰かに責任を押しつけることはできない。こうした企業が両取りしようとするのは許されるべきではない。今後この議論がどう進むのか気になる

    • イスラエルとハマスに関する立場で人を評価するのはやめて、そういう人たちと付き合わなければそれでいいと思っている。誰かが私の意見を言い間違えても大して気にしない。そのためにはblueskyやHNのような、こういう政治的な議論が多い場所は断つ必要があるだろうが、すでに正当な意見ですら非常に偏って誤って伝えられており、AIはコイントス並みだ。もし誰かがこの話題を本当に理解していると説得したいなら聞く用意はあるが、ここでそれをやる必要はないと思う

    • Googleはこうした結果に責任を負うべきだと思う。こういう内容を公開し、ホスティングしている主体なのだから、あらゆる名誉毀損的内容について責任を負うべきだ

    • この話は、おそらく偽動画の件を覆い隠すほど大きくなったあと、AIが上位検索結果をもとにその偽動画論争を自動で要約してしまうことになる気がする

  • "benn jordan isreal" を検索してみたら、最初の結果はまったく別のクリエイターによる、同じタイトル・同じ日付の動画だった。動画内には "benn" への言及はなく、"jordan" という国が少し触れられているだけだ。おそらくこれだけでGoogleが何らかの関連性を幻覚したのだろう。非常に懸念される
    https://www.youtube.com/watch?v=qgUzVZiint0

    • これがほぼ確実に実際に起きたことだと思う。GoogleのAI回答は魔法ではなく、単に検索結果を要約しているだけだ。このケースのように、"Israel" と "Jordan" が一緒に言及された動画を引っ張ってきて、完全に逆の立場の内容を提示してしまう。UIでは多くの文脈が隠されているため、どこで間違ったのか突き止めにくいし、AIモードでは複数回検索を実行して100以上のサイトからスニペットを集約し、そのうえで要約を作っている

    • この議論で興味深いのは、一般的な話題に対する検索結果が、LLMの訓練や情報検索の土台として使われるのがどれほど一般的な現象なのか気になる点だ

    • AI翻訳が実際にどう動いているか知れば、もっと驚くかもしれない。複数の言語をアメリカ英語風にねじ曲げるやり方だからだ

  • 人はたいてい、よく知らないことをGoogleで検索する。そしてAI Overviewが生成した内容は、よく知らない人にはもっともらしく見える。だが実際にはかなり間違っている。今回のような大きな問題だけでなく、以前にはピザの上に接着剤を塗るよう勧めた例もあった。自分がよく知っているテーマをいくつかGoogleで検索して全体要約を見てみれば、かなりの頻度で間違っていることが分かる。自分の経験では、5件に1件くらいしか大きな誤りがなかった。「データの複数形は逸話ではない」という言い方はあるが、あまりに頻繁に外すのでブロッカー拡張機能を入れた

    • Wikipediaやブログのように、すでに静的でよく整理されたコンテンツを対象にするときはかなり正確だと感じている。一方で動的な情報、特にSNSなどでは、関係性を結びつける過程で誤った結果を出しやすい。総じて、人々はAI Overviewに期待しすぎている。Google AI OverviewはClaude、Grok、ChatGPTなどのWeb検索機能と比べても決して絶対優位ではない。むしろ多くの面で劣っている。情報探索の独占がOpenAIなどに脅かされているため、無理やり組み込んだ機能だと思う

    • AI Overviewの精度が以前より良くなったぶん、むしろ問題だと感じる。以前は十分な頻度で、しかも明白に間違っていたので無視しやすかった。今ではかなりの頻度で当たっていて、しかも常にもっともらしいので、依存したくなる誘惑が生まれてしまう

    • 「もっともらしい」AIの偽情報についての最高の説明を言い換えて紹介すると、AI要約は一種の汎用ポッドキャスターやYouTubeエッセイストが技術的あるいはマニアックなテーマを扱うときに似ている――見た目と自信があまりにも立派なので、ほとんど事実のように感じられる。だが、そのテーマの専門家なら、知っていることがことごとく間違っているか、少なくとも質が低いと気づく。この過剰な自信は、きちんとした知識のない一般人にとって、かえって「正確さのシグナル」を増幅してしまう。そして私たちの大半は90%のテーマについて深い知識を持っていないのだから、この問題は深刻だ

  • AIハルシネーションの事例では、2025年8月18日にBenn Jordanがイスラエル旅行の感想動画を投稿したという内容がある。だがこれは最近のRyan McBethの動画タイトルとまったく同じだ
    https://youtu.be/qgUzVZiint0?si=D-gJ_Jc9gDTHT6f4
    単に動画の出典を取り違えてしまうのが恐ろしいほどだ

  • もともとBenn Jordanという名前の人物が2人いて、AIが混同したのかと思っていたが、実際にその動画を上げたのはRyan McBethだった。こうした取り違えがどう起きるのか気になる

    • Googleが検索ページで使っているモデルは、コスト削減のためにあまり賢くないものなのかもしれない。フラッグシップ製品である検索でこうしたアプローチを取るのが良い戦略なのか疑問だ。むしろ検索からAIを完全に外したほうがいいと思う

    • おそらく動画内で "Jordan" という単語が言及される箇所があり、それがイスラエルの近隣国なので、誤った関連づけが生じたのだろう

    • 調べてみると、YouTubeで検索した際にRyanの動画がBennの動画より上に出てくる。AIはYouTube検索結果をチャンネル名まで確認せず、そのまま事実として受け取ったのだと思う

  • これはGoogleの責任ではない。画面下部に6ptの文字で "AI の回答には誤りが含まれる場合があります。詳細" と明確に書かれているからだ

    • これはGoogleの責任だ。なぜなら名誉毀損的な内容を作り、直接配布しているからだ。もし誰かが私の名前を検索して、最初の行に自分が特定の都市の性犯罪者だと表示されたらどう感じるか考えてみてほしい。誰かの発言を引用しているのではなく、ただ根拠のないハルシネーションだ。下にごく小さなサイズで間違う可能性があるという警告があっても、「それで問題ない」と思う人はほとんどいないだろう

    • 注意書きの文字サイズが6ptだという話だが、実際に要素を確認したところ12px（9pt）だった。参考までに、通常の本文（ヘッダーを除く）の文字は18pxだ。かなり小さくて目立たないのは確かだが、まったく見えないレベルではない

  • 数週間前、身近な中小企業経営者が、自社とはまったく関係のない、名前が似た別業者の情報のせいで、GoogleのAIが利用者にその会社を詐欺業者だと誤って案内しているのを見つけた。私たちはむしろ、AIが顧客の評判を傷つけないようにすること自体が中核サービスになってしまっている

  • "AI の回答には誤りが含まれる場合があります" については、人々が広告を無視するように、AI要約も自動的にフィルタリングするよう学習されるほうがむしろ良いと思う
    https://news.ycombinator.com/item?id=44142113

  • もう法律が介入して見せしめをしない限り、今後AIによっていつか本当に大きな惨事が起きると思う

    • どんな根拠で法律が介入すべきなのかと問いたい。普通、間違っていること自体が処罰対象になるわけではない。名誉毀損には意図が必要だが、この場合それが明確に意図されたものではない。多くのAIには、誤りやハルシネーションに関する注意書きもある。フランスなど一部の国では、本人に訂正を求める権利があるが、記事を見る限りGeminiはすでにこの誤りを認識して修正したようだ。もしAIハルシネーションを違法にすれば、LLMそのものが違法になりかねない。その代わり、虚偽情報の通報やフィルタ機能を義務化する方向なら技術的に可能だ

    • 「見せしめをする」とは正確にどういう意味なのか聞き返したい。AI汚染の浄化には私も賛成だが、訴訟中心の社会には反対だ。法的措置は実際にはすぐ濫用されるおそれがあると思う

  • 技術的観点から見ると、Googleの短いスニペットベースの結果によって要約が誤作動することを示す研究がある
    GoogleはAI要約を毎秒20万〜50万クエリまで支えなければならない。ハルシネーションを防げるほど優れたモデルを使うには高すぎるため、結局は高速で安価な低性能モデルを使うことになる。要約を出せば広告のクリック率も下がる。こうした要素をすべて考えると、Googleがこの要約方式を採用したのは非常に悪い判断だったと思う
    https://maxirwin.com/articles/interleaving-rag/

    • AI overview summaryが本当にスニペットベースなのか聞きたい。自分の経験ではそうではないように思える