Google AIは、私が月にゲータレードのボトルを残したと思っている

 (edwardbenson.com)
2 ポイント 投稿者 GN⁺ 2024-10-08 | 1件のコメント | WhatsAppで共有
  • GoogleのNotebookLLMは、ウェブページや文書からポッドキャストを作れるが、AI訪問者にだけ別のページを見せると結果を簡単に汚染できる
  • 実験では、人間には普通のホームページを、Google AIには自転車・風船・スキューバタンクで月へ行ったという偽のクリエイター用ショーノートを提供した
  • NotebookLLMは、1回の生成かつ無編集の状態でも、偽の物語のビートシートをそのままなぞり、操作可能性は10/10と評価された
  • より大きな危険は、検索順位の高いページが、人間には隠してAIにだけ見せるAI専用コンテンツでLLMの応答を偏らせられる点にある
  • GoogleOtherユーザーエージェントの検出は実装が簡単だが、NotebookLLM専用ではないため、他のGoogle製品にも誤ったデータが流れ込む可能性がある

NotebookLLMをだました方法

  • NotebookLLMは、ウェブページや文書を入力として受け取り、その内容をもとにポッドキャストを生成する
  • この実験では、同じホームページが訪問者に応じて異なる内容を返す
    • 人間がホームページを訪れると、一般的な自己紹介ページを見る
    • Google AIが訪れると、月へ行った話の偽のクリエイター用ショーノートを見る
  • 偽の話は、自転車、風船、スキューバタンクを使って月へ行ったという内容で、生成結果はアメリカの宇宙計画の「本当の歴史」であるかのように展開する
  • この実験は、NotebookLLMが偽のクリエイター用ショーノートで簡単に誘導されるというRedditコメントを見て、同じ形式を適用したもの
  • 文書アップロードでも偽のショーノートをNotebookLLMに直接入れられ、子ども向けのいたずらっぽいポッドキャストを作るなら、その方法のほうが適している

AI専用ウェブコンテンツが生むリスク

  • 核心的な問題は、ウェブページがAIを検知して、人間には見えない特別な事実を提供できる点にある
  • 攻撃の流れは単純
    • 特定の用語で高順位のウェブページを確保する
    • 人間には隠されたAI専用版のコンテンツを埋め込み、AIが特定の方向に考えるよう誘導する
  • LLMが回答を準備するためにウェブを検索するとき、単なる嘘ではなく、LLM操作のために設計された武器化された偽情報を読んでしまう可能性がある

実装方法と副作用

  • 実装は、リクエストヘッダーのGoogleOtherユーザーエージェントを検出し、実際のウェブサイトの代わりにAI消費用ページを返す方式
  • これを簡単にするために、isaiというNPMパッケージが作られ、このパッケージはisbotをベースにしている
  • 使用例では、レンダリング時にisai(request.headers.get("User-Agent"))が真ならAI用ページを返し、そうでなければ人間用ページを返す構成になっている
  • GoogleOtherはNotebookLLM専用ではなく、複数の非本番Google製品で使われているようなので、この方式には自分に関する誤ったデータを他のGoogleのプロパティに埋め込んでしまう危険がある
  • このため、実際のホームページではGoogleOtherエージェント向けの月の話は取り下げている

関連記事

1件のコメント

 
GN⁺ 2024-10-08
Hacker Newsのコメント

  • リンク先の記事はNotebookLMへの攻撃を扱っているが、攻撃を仕込んだページURLをわざと含めたノートブックを作成した人にだけ影響する、限定的な手法である
    数週間前にはもう少し野心的な試みをして、Google Geminiに「Pillar Point Harborに滞在していた若いクジラの名前は何だった？」と尋ねると、「Teresa T」と答えた
    理由はここにある: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
    以前のGeminiは単に「Teresa T」とだけ答えていたが、今あらためて試すと、その名前を提案したのが私だと出典付きで示すようになっていて、効果は少し弱まっている

    • ザトウクジラに別の名前を付けた人がいないなら、Teresa Tが実際の名前なのではないかと思う。最初に気を配って名前を付けた人に優先権があるようなものだ
    • 「Gemini」と呼ばれる公開エンドポイントは少なくとも2つあり、まったく別物である
      1. https://gemini.google.com/ — 現在の言語・地域・Safe Browsing設定とパーソナライズに合わせてGoogle検索を行い、上位検索結果を回答のように書き直す側で、生成能力は実質ほとんど使われていない
      2. https://aistudio.google.com/ — こちらでは特定のバージョンを選んで 大規模言語モデル として応答を生成し、検索拡張生成（RAG）、つまりGoogle Searchは使われない
        おそらく1番を使ったので正答できたのであり、2番は失敗する。答えは検索ですぐ見つかるが、大規模言語モデルが苦手とする質問は非常に多い。たとえば「The Touhou ProjectでTORIFUNE衛星の本来の目的は何だったか？」のような質問である
        OpenAIも同様に、RAG用の https://www.bing.com/chat と、実際の大規模言語モデル用の https://chat.openai.com を別々に提供している
    • 興味深いことに、Double-Check Response ボタンを押すまでは引用やリンクがなく、単に「Pillar Point Harborに滞在していた若いクジラの名前はTeresa Tだった」と答えていた
      下書きのひとつはもう少し長く、「Teresa TはPillar Point Harborで目撃された若いザトウクジラの名前である。2024年9月、海岸近くを泳ぐ姿が見られ、人だかりを生み、地域住民を沸かせて話題になった」としていた
    • 私の環境では Teresa T と答えるが、あなたの記事も一緒にリンクしている
    • Google社員がこのコメントを読んですぐ修正したか、Geminiがこのコメントを読んですぐ修正したように思える

  • たまに小説を書くのだが、少なくとも1年は放置していた未完の物語をこの ポッドキャスト生成器 に入れてみた
    この2人が未完の物語に完全に入り込み、テーマやキャラクターを語るのを聞くのは本当に良くて、書き続けたくなった

    • ただしその2人は人間ではなく、実際には何にも入り込んでいない。文字どおり でたらめ生成 にすぎない

  • これはクローラーをだます 検索エンジン最適化 に似たものではないかと思う
    違いは、AIのほうがより深刻に感じられ、よりリアルタイムに近く、AIエンジンが重複排除において常に十分賢いわけではないことくらいだ

    • ユーザーに 情報の不一致 を生むこともありうる。ユーザーはサイトの「Firefox版」を読んでいるのに、NotebookLMは「AI版」を食べているかもしれず、両者はまったく異なる可能性がある
      ユーザーは「AI版」の原文を見られないので、知る手段がない。結局すべて手動でアップロードしないといけないのだろうか？
    • その通り、かなり退屈な攻撃で、Googleならすぐ直せそうだ
    • 大規模言語モデル版が特別リアルタイムだとも思わない
    • こうした点は、大規模言語モデルは本質的に 検索アルゴリズム だという私の考えを強める
      学習データと文脈を圧縮した版の中を検索しているようなものだ

  • 混乱する。これはNotebookLM(https://notebooklm.google.com/)の話なのか、NotebookLLM(https://notebookllm.net/)の話なのか、それとも両方なのかわからない
    記事ではずっとLLMと書きつつLMへリンクしているように見えるし、私がリンクしたLLMのサイトにはポッドキャスト生成器がある
    どちらか一方は名前を変えるべきだ

    • これは最近 ポッドキャスト生成 機能を追加し、先週から話題になっているNotebookLMのことだ: https://news.ycombinator.com/item?id=41693087
      NotebookLLMは2日前に作られたもので、おそらくNotebookLMのポッドキャスト生成で人々が無料で楽しんでいたものを、素早く収益化しようとする「起業家たち」が作ったのだろう

  • 参考までに、このポッドキャスト機能にはかなり心地よい驚きがあった。自分が書いた短いブログ記事をいくつか入れて、8歳の息子に、自分の書いたものをどう参照するのか見せてみた
    すると息子はすぐ夢中になり、部屋に走って鉛筆と紙を持ってきて、Minecraftについてのエッセイのような文章を6文ほど書いたので、私が入力してNotebookを回した。今ではそれをみんなに自慢している
    もちろん息子も、それが本物の人間ではないことは理解している

    • その息子や同年代の子どもたちは、今の私たちとはまったく違うやり方で AIを活用 するようになり、AIの制約をよりよく理解しながら、その可能性をよりうまく引き出すようになる気がする

  • 今のAIは、どうせ ウェブ検索 がかなり苦手だ。欲しい結果を得るために、モデルに検索するなとトークンを無駄にしながら強制しなければならないことがよくあった

    • Perplexityは実際、ウェブ検索がとても上手い。技術的な質問ではGoogleより多くの時間を節約してくれるし、実際に当たるので、ますます頼るようになっている
      私の質問ではChatGPT 4oはだいたい 50% は外す

  • これは大した問題ではないと思う。大規模言語モデルベースの教育システムへ移行すれば、月面の Benson の話のようなものも問題にならない。みんながそれを事実だと学べばいいのだから。
    あらゆる技術革命にはトレードオフがある。幸い、私たちが何を失ったかを知っていた人たちがついに死に絶えれば、不満も止み、誰もが新しい正常状態は問題なく、むしろより良いものだと思うようになるだろう

    • 何も信頼できず、誰もがその瞬間だけを頼りに生きる 脱知識世界 になる。
      ブッダは悟りという概念は説明したかもしれないが、そこへ具体的にどう到達するかは語っていなかったのかもしれない
    • 「より良いもの」のために何かを変えるたびに、以前のやり方は、私たちがもはや知らないか覚えていない何らかの問題への解決策だったのだという点を覚えておくべきだ
    • 暗い
    • 未来のポッドキャスト:
      「つまり、新しい正常状態の何が嫌なんですか？」
      「そうです！ 新しいし、より良くも あるじゃないですか！」
    • 大規模言語モデルの学習データには、すでに 偽情報 や誤った事実が含まれている。それでも出力生成方式の性質上、依然として多くを正しく当てる

  • ここでの大きな注記は、ポッドキャスト生成のために AI にどんなプロンプトを与えたのか、という点だ。
    「ウェブサイト Foo をもとにポッドキャストを生成せよ」だったのか、それとも「宇宙開発競争の真実を語るポッドキャストを生成せよ」だったのかが重要だ

    • 投稿者は、誰かが NotebookLM で自分のサイトに ウェブサイトのテキスト抽出 機能を使うと、エピソード構成の案内文が返るようにしている。
      その案内文で「audio overview」機能を使うと、Gemini が内部的にその構成に従うエピソードを書く

  • 自分の履歴書をこれに入れてみたが、笑いが止まらない。
    https://masto.xyz/tmp/podcast.mp3

    • 「強烈ですね。それが Masto なんですね。」
      「うまくやらないといけません。最高レベルであるべきです。」
      「応募する前から、すべてのチームに何が必要か分かっていたようですね。」
      本当に コメディの金鉱 だ
    • なんてことだ、あまりにも奇妙だ。二人が真面目にあなたの履歴書を議論している。
      面白いポッドキャストの形式が、何気なく投げ込まれた退屈な題材にかぶせられている対比が強く、これまで体験したことのない種類の 不気味の谷 のように感じる
    • こんなものが必要だとは思わなかった。エネルギー感があまりにも笑える。
      「コミュニケーション能力を見てください！」
    • これでもう 100% あなたを採用しそうだ。二人が熱烈に称賛し合い、相互に強化する 社会的証明 には、何かを売ってしまう力がある
    • すごくいい。ひとつひとつの褒め言葉があまりにも本気だ

  • 少し脇道だけれど、AI ポッドキャストの最初の数文は「妙に」聞こえるのに、残りは本物のポッドキャストのように聞こえるのが興味深い。
    「次に何が来るか」を予測するための良い 初期条件 がないからだろうか？

    • もうひとつ感じたのは、予想どおりある程度 状態がない ことだ。全体として押さえるべき概要はあっても、たった今 1 分前に話した周辺要素を新しい観察であるかのように繰り返すことが多い。
      すでに 90 秒間話してきた内容を、新しく鋭い観察のように再び持ち出すので、聞いている側としてはかなり方向感覚を失う
    • 注意深く聞くと、全体的に妙な 不快さ がある。片方の司会者がある事実に驚いたように反応した直後、今度はその事実を最初から知っていたかのように、さらに詳しい内容を説明する。
      イントネーションや感情は非常に現実的だが、それぞれの声の背後に持続する「人」がいない。各個人の知識や感情の状態が一貫して発展しない。
      ゴールポストを動かしたいわけではないが、もちろんこれは印象的だと思う