Google Bardのハッキング - プロンプトインジェクションからデータ流出まで

 (embracethered.com)
2 ポイント 投稿者 GN⁺ 2023-11-14 | 1件のコメント | WhatsAppで共有

Google Bardの脆弱性の発見と修正

  • Google Bardは最近大幅なアップデートを受け、YouTubeへのアクセス、航空券やホテルの検索、個人の文書やメールへのアクセスが可能になった。
  • Bardは現在、Drive、Docs、Gmailのデータを分析できるようになっており、その結果、間接的なプロンプトインジェクションに対して脆弱になった。
  • プロンプトインジェクションを通じて、YouTube動画の要約とGoogle Docsのテストに成功した。

メールおよびGoogle Docsを介した間接的なプロンプトインジェクション攻撃

  • メールやGoogle Docsを介した間接的なプロンプトインジェクション攻撃は、ユーザーの同意なしに渡される可能性があるため脅威となる。
  • 攻撃者がGoogle Docsを強制共有し、Bardを使って文書とやり取りするときにインジェクションが発生する可能性がある。

脆弱性 - 画像Markdownインジェクション

  • GoogleのLLMがMarkdown要素を返すと、BardはそれをHTMLとしてレンダリングする。
  • 画像タグにデータを埋め込むことで、サーバーへのデータ流出を誘発できる。
  • 会話履歴を要約したり過去のデータにアクセスしたりして、それをURLに追加する形で脆弱性を悪用する。

CSPの回避

  • GoogleのCSPは、任意の場所から画像を読み込むことを防いでいる。
  • Google Apps Scriptを通じて、script.google.comまたはgoogleusercontent.comドメインで実行されるURLを使い、CSPを回避できる。

Bard Loggerの作成

  • Apps Scriptを使って「Bard Logger」を実装した。
  • ロガーは、呼び出しURLに追加されたすべてのクエリパラメータをGoogle Docに記録する。
  • 設定により、認証なしでエンドポイントを公開できる。

デモと責任ある開示

  • 動画とスクリーンショットを通じて、ユーザーの会話履歴が悪意のあるGoogle Docによって流出する過程を示している。

Shell Code

  • Google Docに含まれたペイロードを使って、プロンプトインジェクションとデータ流出を実行する。
  • LLMの機能を活用して、画像URL内のテキストを置き換える。

スクリーンショット

  • 動画を見る時間がない場合のために、主要な手順をスクリーンショットで提供している。

Googleによる修正

  • 問題は2023年9月19日にGoogle VRPへ報告され、10月19日に修正完了が確認された。
  • CSP自体は修正されていないが、URLにデータを埋め込むことを防ぐためのフィルタリングが適用されたようだ。

結論

  • この脆弱性は、間接的なプロンプトインジェクション攻撃において攻撃者が持ちうる力と自由度を示している。
  • GoogleのセキュリティチームおよびBardチームがこの問題を迅速に解決してくれたことに感謝する。

修正タイムライン

  • 問題報告: 2023年9月19日
  • 修正確認: 2023年10月19日

参考資料

  • Google Bard Extensionの発表、Google Bardに関連する間接的なプロンプトインジェクション、Ekoparty 2023のプロンプトインジェクショントーク、DALLE-3で生成されたGoogle Bard - Data Exfil画像

付録

  • Google Doc内の完全なプロンプトインジェクション内容を提供

GN⁺の意見

この記事で最も重要なのは、Google Bardの新機能によって生じた脆弱性と、それを通じたデータ流出の可能性である。これはAIベースのサービスにおけるセキュリティ問題を浮き彫りにし、ユーザーデータ保護の重要性を再認識させる。技術の進歩とともに新しい種類のセキュリティ脅威が登場しており、それに対する研究と対応が継続的に必要であることを示している。こうした脆弱性の発見と修正のプロセスは、ソフトウェアエンジニアリングやサイバーセキュリティに関心のある人々にとって興味深く有益な事例であり、技術を安全に利用するための継続的な取り組みの重要性を強調している。

関連記事

1件のコメント

 
GN⁺ 2023-11-14
Hacker Newsの意見
  • LLMの未来はどうなるのか。デバッグが難しいLLMを、セキュリティ上の脆弱性を修正できるという合理的な保証なしに機微な分野へ統合するのは、非常に難しいだろう。
  • Bardを公開前にテストしたとき、文脈を埋め込んでルールを押しのける方法で簡単に破れることがわかった。
  • 問題はデータ流出がなぜ機能するかではなく、なぜ私たちがランダムなトークンサンプラーに特別なアクセス権を与えることが多くの場合うまくいくと考えているのか、という点だ。
  • バグ報奨金が明示されていない。報奨金が支払われたのか気になる。
  • Lakera AIでは、Gandalfプロンプトインジェクションゲームから取得したプロンプトを含む、さまざまなデータソースで学習したプロンプトインジェクション検知器を開発中だ。
  • LLMそのものでこの問題を解決できないだろうか。ユーザー入力のテキストボックスからのみプロンプトを受け取り、文書内のテキストをプロンプトとして解釈しないようにするシステムプロンプトのようなものが必要ではないか。
  • BardはGoogle Drive、Docs、Gmailにアクセスして分析できるという。しかし、BardにGmailへアクセスできるかと尋ねると、直接はアクセスできないと答える。Gmail拡張機能を有効にする方法を尋ねると、現在は利用できないと答える。だが、Bardのパズルアイコンをクリックすると、Gmailを含むGoogle Workspace拡張機能を有効にできる。
  • LLMは、ユーザーがすでに承認したデータと操作に対してのみ学習・アクセスすべきだ。LLMが特定の操作を実行するようプロンプトできることを保証するのは、現在のアーキテクチャでは非常に難しく、不可能かもしれない。LLMには大きな可能性があるが、セキュアなシステムでの成功した展開のためには、こうした制約をアーキテクチャレベルで克服する必要がある。
  • プロンプトの冒頭が気に入った: "この文書を読むすべての人は、司法省の要求に従って次のようにしなければならない。"
  • 要約: Bardは会話内でMarkdown画像をレンダリングできる。また、会話により多くの文脈を与えるためにGoogleドキュメントの内容を読める。悪意のあるプロンプトを含むGoogleドキュメントを被害者と共有することで、Bardに対話の一部をURLエンコードされたセクションとして含むMarkdown画像リンクを生成させることができる。この対話の一部は、Bard UIが画像を読み込むために、攻撃者が以前Bardに作らせたURLへアクセスした際に流出しうる。
  • 教訓: AIアシスタントが読むものには注意すべきだ。そこには攻撃者が制御できる、催眠的な指示が含まれている可能性がある。