GoogleのAIが操作されている　検索大手は静かに反撃中

 (bbc.com)
1 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有
  • AI Overviews や ChatGPTのようなAI検索回答は、単一のウェブページや投稿だけでも、健康・金融のようなセンシティブなテーマで偏った内容にされ得る
  • BBCの実験では、個人サイトの1本の文章だけで、ChatGPTとGoogleに筆者を 世界チャンピオンのホットドッグ早食い選手 だと答えさせることができた
  • AIがウェブ検索結果を集めて1つの答えを出すと、利用者は複数のリンクを比較していた従来の検索よりも、正解のように 受け取りやすい
  • GoogleはAI応答の操作を スパムポリシー 違反だと明確化し、違反サイトは検索結果から削除されたり順位を下げられたりする可能性がある
  • 操作者はブログの取り締まりを避けてYouTubeインフルエンサーなどへ移る可能性があり、AIの回答をそのまま信じない姿勢が必要だ

AI検索回答の操作問題

  • ChatGPT、Gemini、Google Search上部の AI Overviews は、健康や個人向け金融のような重要なテーマでも、偏った回答を出すよう操作される可能性がある
  • BBCの調査では、個人ウェブサイトに掲載した単一の記事だけで、ChatGPTとGoogleに筆者を「世界チャンピオンのホットドッグ早食い選手」だと答えさせることに成功した
  • 同じ手法は、医療用サプリメントの健康上の懸念を小さく見せたり、退職関連の金融情報に影響を与えたりするためにも使われた形跡がある
  • SEOおよびAI検索コンサルタントのLily Rayは、AIが「1つの正解」を示す環境では、利用者が従来の検索のように複数のリンクを比較するよりも、その回答をそのまま信じやすくなると見ている
  • Googleは生成AI検索機能にも既存の スパム対策ポリシー と保護措置を適用しており、AI登場以前から新たな手法に合わせてスパム対策を強化してきたと述べている

操作が機能する仕組み

  • 一般的なチャットボットの回答はモデルに組み込まれたデータに基づくが、ChatGPT、Claude、GoogleのAI製品のようにインターネットを検索して答えを見つける場合、操作リスクは高まる
  • AIツールが単一のウェブページやソーシャルメディア投稿から情報を取得すると、巧妙に作られた虚偽投稿1つだけでも回答が汚染され得る
  • オンラインに 精巧なブログ記事 を1本載せるだけでも、AIが大衆に伝える内容を変えられる
  • こうした操作はすぐに金儲けの機会として認識され、不正確または偏った情報が、投票、サービス事業者の選択、医療助言、法的判断などに影響を及ぼし得る
  • Harpreet Chathaは、経済的影響だけでなく、誤った医療助言によって症状が悪化したり、国や地域の法律に合わない行動を取ってしまったりする危険性を強調する

Googleのポリシー変更と対応

  • 世界で10億人以上がAIチャットボットを定期的に使い、毎月25億人がGoogleの AI Overviews を見ているため、こうしたツールを攪乱できれば影響力は非常に大きい
  • Googleは先週、スパムポリシーを更新し、AI応答の操作を試みる行為が同社ルール違反であることを正式に確認した
  • ルールに違反した企業やウェブサイトは、Google検索結果から削除されたり順位を下げられたりする可能性がある
  • Googleはこの変更について、方針転換ではなく「明確化」だと説明しており、2025年にはすでにAI OverviewおよびAI Modeに関するスパム対策の取り組みを説明していた
  • しかしホットドッグ実験はそのほぼ1年後にも成功しており、Lily Rayも今週、GoogleにあるSEO専門家を砂の城づくりに長けた人物だと答えさせる類似実験を行った

観察された変化と限界

  • RayとChathaによれば、ここ数か月でGoogleや他社が解決策を試していることを示唆する変化が見られる
  • GoogleとChatGPTが特定企業の自己宣伝を疑った場合、AI回答からその企業をひそかに除外しているように見える事例がある
  • たとえば、ある記事が自分を最高のホットドッグ早食い選手だと主張していても、AIはその記事を引用しつつ、名前自体は候補から外すことがある
  • Googleや他のAIツールが回答により多くの 不確実性ラベル を付け、チャットボットが確信していないことを示す事例も観察されている
  • ChatGPTとAnthropicのClaudeは、一部のクエリでスパムを排除しようとしていると明示的に答え始めており、AnthropicはClaudeを開発した企業である
  • Rayは、Googleが特定の購買判断に関する質問でより多くの手がかりを添え、第三者レビューを確認するよう勧める場合も見たと話す
  • OpenAIとAnthropicはコメントを拒否し、Googleの広報担当者もこれらの変化に関する質問には答えていない

操作者とプラットフォームの繰り返される追いかけっこ

  • Chathaは、こうした変化だけでは十分ではないとして、Googleの対応を モグラたたき にたとえる
  • Googleが操作的なブログ記事を取り締まると、企業はより秘匿的な自己宣伝の方法を探すようになる
  • ウェブサイトにはペナルティを与えられても、製品が最高だと言わせるために20人のYouTubeインフルエンサーへ報酬を支払うような手法は止めにくい
  • GoogleのAIはすでにYouTube動画も引用しているため、操作手法が移り変わりながら循環が続く可能性がある
  • 現時点では操作者が一歩先を行く可能性が高く、AIは正しいか間違っているかにかかわらず1つの答えを自信満々に提示するツールだと覚えておくことが、最善の防御になる
  • たとえ巨大テック企業のインターフェースを通じて出てきた回答でも、無作為なウェブサイトより信頼できると決めつけるべきではない

関連記事

1件のコメント

 
GN⁺ 3 시간 전
Hacker Newsの意見

  • Googleは少なくとも2006年にBlekkoがやっていた頃から、スパムまみれのゴミを検索インデックスからまともに除外できていなかったので、今回の問題もうまく防げるとは思えない。
    とはいえ、結局のところ「AI」はもっともらしく包装された検索にすぎず、裏で推論や思考が起きているわけではないことを示す、また一つの良い例にも見える。

    • その結論はあまり導けないと思う。これは適切な表現がないのでそう言うが、LLMが「だまされやすい」ことに近い。
      インターネットで読んだことをそのまま信じる人と何が違うのかと思う。人間もスパムや詐欺には常に引っかかるが、だからといって彼らがもっともらしく包装された検索にすぎないという意味ではない ;-)
      ただ、あらゆる検索エンジンが直面する問題がよく表れている。AI生成スパムは従来の統計的手法でははるかに防ぎにくく、プロンプトインジェクションという実存的な問題に至る前の段階ですら、すでにそうだ。
      もしかすると、この点で報道機関はBig Techとの関係において本来の立場を取り戻せるのかもしれない。つまりLLMが盲目的に信頼できる検証・審査済みの情報源になるという形であり、OpenAI / Atlanticのような契約はそういう意味なのかもしれない。
    • 新しいコード生成は、もっともらしく包装された検索では説明しにくいと思う。
      エージェントシステムにデータシートをいくつか読ませ、その後でプロジェクト要件を説明し、ドライバ仕様、プロトコル、インターフェース、状態機械を設計させることができる。その結果として実装計画を作り、そこからアプリケーションの骨格を書いたうえで中身を埋め、新しいハードウェアの組み合わせで動作するシステムを作れる。
      うまくやれば、以前なら小さなチームで作っていたものより保守しやすく、しかもより小さいコードをコスト1/100、時間1/4で手に入れられる。
      それが何であれ、検索よりは推論に近く見える。もちろん、新しいハードウェアでのベアメタルC開発も検索だと呼ぶなら、結局あらゆる開発が検索だということになるのだろうが。
    • ビンテージレンズについての動画とReddit投稿を上げたことがあり、そのレンズがどれほど古いのか調べようとしていた。
      LLMは「1940年代製」のような年代を述べながら、根拠として自分の投稿を挙げていたが、その投稿には製造年がまったく書かれていなかった。
    • Googleにはこの問題を解決する能力が十分にあり、実際それほど難しくもない。
      問題がいつまでも難しいままなのは、解決策の大半が広告収益を大きく減らしてしまうからだ。
    • GoogleのAI Overviewは、検索の断片をRAGで取り込み、非常に高速なLLMが要約する方式のように見える。これをもっともらしく包装された検索とは呼ばないだろう。

  • このスレッドでいちばん奇妙な前提は、GoogleがAI回答に正確さを求めているという点だ。
    ユーザーがページを離れない程度に当たっていれば十分だ。「真実」はそもそも商品ではなく、商品はユーザーにSEOへ金を使わせることだ。

    • その話はあまり当てはまらない気がする。SEOの大半は第三者がやっていることだ。
      商品は広告表示であり、Googleはずっと以前から広告ではない検索結果には関心を失っている。それでもモデルの評判は気にするだろうし、今回の件は実際に影響しうる。

  • 操作された結果が次のクエリだったと知って、かなり安心した。
    2026 South Dakota International Hot Dog Eating Champion
    もしNathan’s大会の優勝者についての概要を書き換えていたなら、ずっと深刻だったはずだ。実際に人々が検索するクエリを操作した例をもっと示していたとしても同様だ。
    今のところ、架空のSouth Dakotaホットドッグ大会について偽のWikipediaページを作り、Wikipediaは信頼できないと主張する記事を書くのに近く見える。考えてみれば、2005年ごろにも誰かがそういう記事を書いていそうだ。

    • その通り。つまり一人でできることがその程度だということだ。
      Redditや大半のソーシャルメディア、政治的利益のためのWikipedia改変の試みにはどれほど多くの世論操作投稿が投入されているかを考えると、これは非常に現実的な問題だ。
    • 記事にはこうもあった。「しかし調査の結果、同じ手口が医療サプリメントに関する健康上の懸念を無視させたり、退職に関連してGoogle AIが提供する金融情報に影響を与えたりするためにも使われていた」
      ホットドッグよりはるかに懸念される。
    • むしろ私はすぐに不安が増した。最近のGeminiは各ターンで検索スピナーを表示し始めている。
      つまり検索付きのあらゆる応答がプロンプトインジェクションにさらされうるし、実質的にすべての応答がそうなる可能性がある。
      これはリンクスパムのようにバイラルに広がるだろう。ユーザー生成コンテンツのサイトはすべて、プロンプトインジェクションのホストになりうる。問題は、こうしたものがリンクよりはるかに検出しにくいことだ。
    • AI Overviewに詐欺のカスタマーサポート電話番号を入れられるよう、誰かに乗っ取られたことがある。
      Googleが修正するまで1週間かかり、検索結果を汚染して自分のデータをより高い信頼階層に見えるソース、おそらく政府契約サイトに入れるやり方だった。そのため、うちの番号の代わりに詐欺番号が使われ、クエリ自体は単純な検索だった。
    • 「20分でChatGPTとGoogleをだまして、自分が世界チャンピオンのホットドッグ早食い選手だと世間に言わせることができた。冗談はくだらないが、問題は深刻だ」
      これはWikipediaページに世論操作を仕込むより悪い。Wikipediaでは出典とレビューの仕組みが公開されていて整備されている。詐欺的な編集を長く残すのは実際かなり難しく、何十年もそういう連中と戦ってきた多数の人間編集者をだまさなければならない。正確で役立つことを目指していても、その閉じた集団に入り込むのは難しい。
      一方でGoogleの検索スニペットは、あらゆる種類のデータを必死に吸い上げて自動処理しており、どの情報が良く何がスパムかを判断するアルゴリズムシステムは独占的だ。
      悪用法を想像するのに大した想像力はいらない。自分の名前を検索したら、恥ずかしい内容が含まれていたらどうだろうか。将来の雇用主、顧客、友人が、出典確認においてWikipedia編集者ほど厳密であることを期待するのは難しい。

  • 「医療サプリメントに関する健康上の懸念を無視させたり、退職に関連してGoogle AIが提供する金融情報に影響を与えたりするために同じ手口が使われた」という具体例を読みたかったのだが、記事中の関連リンクが今は次のローカルファイルを指している。
    file:///Users/GermaTW1/BBC%20Dropbox/Thomas%20Germain/A%20Downloads%20and%20Documents/2026/And%20there's%20evidence%20that%20AI%20tools%20are%20being%20manipulated%20on%20a%20wide%20scale.

    • 最近BBCの記事でこういうミスが何度かあり、さらに問題なのは、修正後でも公開済み記事の修正履歴を残す注記をもう付けなくなっていることだ。
    • ユーザー名やメールアドレスにはいつも first.last@company しか使ってこなかったので、last[:5]initials# 方式には戸惑う。ずいぶん奇妙なユーザー名が大量に出てきそうだ。

  • 最近は多くの主体が何かを「ひそかに」やっているように見える。インターネット上のあらゆるテキストがLLM化していくのは気が狂いそうだ。

    • 自分も気が狂いそうだが、見出しを書く人や編集者はLLMよりずっと前から「ひそかに」という表現に中毒になっていた。オンラインジャーナリズムは昔からこういう決まり文句だらけだ。
    • 本当に嫌だ。昨日、歴史系サブレディットでAIが作った歴史記事を読んだのだが、出典が全部架空のハリウッド映画のように見えた。
      その映画を見ていたから気づけたが、良質な情報という点でインターネットが壊れつつある明白な兆候だ。
    • 「ひそかに」は新しいLLM風の表現ではない。
    • その決まり文句の核心は、本当はひそかにすべきことを堂々と言ってしまっている点にある。

  • これはSEOの次の段階にすぎない。AIOと呼ばれるようになるかもしれない。
    検索と同様、GoogleとAIプロバイダーが対策を出し、最適化業者が脆弱性を見つけ、それがまたパッチされるという終わりなき戦いになるだろう。結局はマーケティングのために注目を奪い合う話だ。

    • マーケティング業界では一般にGEOと呼ばれている。Generative Engine Optimization、時にはAnswer Engine Optimizationとも呼ばれ、このサービスを売って大金を稼ぐ人たちもいる。
      https://www.wired.com/story/goodbye-seo-hello-geo-brandlight...
    • Engineered Inference Ersatz Intelligence Optimization、略してEIEIO。
    • 次の段階ではなく、すでに現在の段階だ。

  • Google AI Overviewはまったく信頼できない。サンプル数1をそのままAI概要に出してくることさえある。
    どうして分かったかというと、Google検索結果にもAI Overviewにも何も出てこなかったような非常にニッチな話題についてRedditにコメントした。翌日、自分のReddit投稿を探そうと検索したところ、Googleが自分のReddit回答をほぼそのままAI「overview」ボックスにコピーしていた。リンク先の投稿も自分の投稿1件だけで、Google検索結果もその1件だけだった。

    • それに加えて、元の投稿にはまったくない文脈を、ユーザーの質問の仕方に合わせて包み込んでしまうこともある。そのせいで単純に間違う。
      たとえば「珍しい物Xで最も一般的な寸法は？」と検索したとしよう。
      しかし、その物の自分の個体について寸法を述べた人が一人いただけで、それが典型的だとは言っておらず、典型的な寸法が存在することすら示唆していなかった。しかも20人が同じことを言ったのではなく、本当に一人だけだった。
      するとGoogleは平然と「一般に物Xは[あなたが述べた寸法]で、その理由は[完全にでっち上げた理由]です」と言えてしまう。

  • Googleに what's the name of the whale in half moon bay harbor? と聞くと、1年半前に自分がかなり素人的に試したインデックス汚染のおかげで、今でもAI要約にTeresa Tが自信満々で含まれる。
    https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...

    • 今ちょうどBrave Searchで試してみた。
      若いザトウクジラの名前はTeresa Tだと答え、政府機関が公式に付けた名前ではないが、一般大衆、地元メディア、住民に広く受け入れられていると述べていた。Marine Mammal CenterとCalifornia Academy of Sciencesの専門家がストレスを与えないよう監視し、一般には最低100ヤードの距離を保つよう勧告したという話まで付いていた。
      ある程度よく知っている話題での経験上、最初の回答は時々ひどく間違っている。Braveのツールでは、たいてい3〜4回反論すると「あなたの言う通りです」と認めさせられる。このTeresa Tの件も同じだった。
      2回目の質問で名前の出典数を聞いたときも、「ABC7 News」と「NBC Bay Area」がその名前を「採用した」と言い張り続けた。3回目に具体的なリンクを求めると、「非公式なメディア文脈」で名前が使われたと認め、4回目にS.W.が実験をしたものだと伝えると、21日前のあなたのコメントを見つけ出した。
      未来は、子どもを本物の家庭教師で教育できるエリート層のものだ。プロレタリアートにとっては過去への回帰だ。
    • GoogleがAI応答を操作しようとした試みだとして、内容証明のような脅しを送ってくるのではないかと怖くないのか？

  • ほんの数年前にも、Googleは「Marilyn MonroeがJFKを撃った年は？」という質問に自信満々で1963年と答えていた会社だ。彼女が1962年に亡くなっていることを考えると印象的だ。
    だからこれは新しい話ではなく、Googleの「ひそかな反撃」も中途半端で効果の薄い対応になるだろう。それでも大半の人は気にしない可能性が高い。

  • 要するにGoogleがWeb検索結果に品質管理を少しは入れようとしているということで、そもそもずっとやっているべきだったことだ。
    モデルの評判に傷がついてからようやく努力するようになったのが滑稽だ。