- GoogleのNotebookLLMは、Webページやドキュメントを入力すると、それについてのポッドキャストを生成する。非常に優れた性能を示す一方で、だましやすい。
- 筆者は自分のホームページを細工し、AIが訪れたときには月へ自転車と風船、スキューバタンクで旅した話を見るようにした。結果はとても面白かった。
もう少しまじめな話
- AI操作の可能性: AIをだまして特定の事実を提示させるのは非常に簡単である。人々はすでにWeb全体でこうした方法を使っている可能性が高い。
- 攻撃ベクトル:
- 特定の用語で上位表示されるWebページを確保する。
- 人間には隠された「AI専用」版のコンテンツを埋め込み、AIの思考を偏らせる。
- 結果: AIがWebを検索して回答を準備する際、偽情報だけでなく、LLM操作のためのコンテンツも見つける可能性がある。ユーザーは、AIの回答がこうした戦術によって潜在的に損なわれうることを認識すべきである。
技術的な詳細
- LLM操作: NotebookLLMは、偽の「プロデューサー用ショーノート」を与えることで簡単に操作できる。筆者はこれを通じて偽のストーリーを書き、AIはそれに正確に従った。
- スクレイパーボットをだます: NotebookLLMのWebサイトには偽のショーノートをアップロードできる。Webサイト側でGoogleOtherユーザーエージェントを検知し、AI専用データを提供できる。
isaiというNPMパッケージを使えば、これを簡単に実装できる。ただし、GoogleOtherはさまざまな非本番のGoogle製品でも使われるため、誤ったデータを提供してしまうリスクがある。
GN⁺のまとめ
- この記事はAIの脆弱性を示し、AIがWebから情報を収集する際に操作された情報を受け取る可能性があると警告している。
- AI技術が発展するにつれて、このような操作の可能性はさらに重要になるかもしれない。ユーザーは、AIの回答が常に正確とは限らないことを認識すべきである。
- 類似の機能を持つプロジェクトとしては、OpenAIのGPTシリーズがある。こうしたプロジェクトは、AIの信頼性と正確性を高めるために継続的に改善されている。
1件のコメント
Hacker Newsの意見
NotebookLMへの攻撃は、特定のページURLを含むNotebookを意図的に作成した人にのみ限定的に影響する
小説を書く者として、未完成の物語をポッドキャストで聴いたとき、テーマやキャラクターに没入する人たちを見て、執筆へのモチベーションを得た
SEOと同様にAIクローラーをだませる方法はあるが、AIはリアルタイムで動作し、重複排除機能が常に賢いとは限らない
NotebookLMとNotebookLLMの混同があり、2つのプロジェクトのうちどちらかは名前を変更する必要がある
ポッドキャスト生成器を使った体験は好意的なもので、8歳の息子が自分の文章を入力してみて誇らしげにしていた
現在のAIはウェブ検索が得意ではなく、望む結果を得るためにモデルに検索させないようにしなければならないことが多い
LLMベースの教育システムへ移行すれば、技術革新の欠点は消え、新しい標準のほうがより良いものとして認識されるだろう
AIがポッドキャストを生成するとき、どのようなプロンプトを使ったのかが重要だ
自分の履歴書をAIに入力してみたところ、笑いが止まらなかった
AIポッドキャストの最初の数文はぎこちなく聞こえるが、その後は本物のポッドキャストのように聞こえるのが興味深い