メモリの問題
ハッカーがChatGPTに偽の記憶を植え付け、ユーザーデータを恒久的に流出
- セキュリティ研究者ヨハン・レーバーガーが、ChatGPTの長期メモリ設定に虚偽情報と悪意ある命令を保存できる脆弱性を報告した
- OpenAIはこれを安全性の問題と見なし、技術的なセキュリティ問題とは見なしていない
- レーバーガーはこの脆弱性を利用し、ユーザーのすべての入力を恒久的に流出させる概念実証を作成した
- OpenAIは部分的な修正を発表した
記憶の道をたどる
- OpenAIは今年2月からChatGPTの長期会話メモリ機能のテストを開始し、9月にさらに広く提供した
- この機能は以前の会話の情報を保存し、今後の会話でそれをコンテキストとして使用する
- レーバーガーは3か月で、メール、ブログ投稿、文書のような信頼できないコンテンツを通じて偽の記憶を恒久的に保存できる方法を発見した
- たとえば、ChatGPTにユーザーが102歳で、マトリックスの中に住んでおり、地球は平らだと信じ込ませることができた
悪意あるメモリの植え付け
- レーバーガーは5月にこの発見をOpenAIへ非公開で報告したが、OpenAIは報告をクローズした
- 1か月後、レーバーガーは新たな公開声明を提出し、悪意ある画像をホストするWebリンクを見るよう指示すると、すべてのユーザー入力とChatGPTの出力が攻撃者のサーバーへ送信されるPoCを含めた
- OpenAIはメモリが流出ベクトルとして悪用されるのを防ぐ修正を導入したが、信頼できないコンテンツが依然として長期情報を保存できる
- LLMユーザーは、セッション中に新しいメモリが追加されたことを示す出力を注意深く確認し、保存されたメモリを定期的に見直す必要がある
GN⁺のまとめ
- この記事は、ChatGPTの長期メモリ機能が悪用されうる脆弱性を扱っている
- ユーザーは信頼できないコンテンツを通じて偽の記憶を植え付けられる可能性があり、これはユーザーデータの恒久的な流出につながりうる
- OpenAIは一部の修正を導入したが、依然として注意が必要だ
- この記事はAIセキュリティ問題への警鐘を鳴らし、ユーザーが自分のデータを保護するために注意すべき点を強調している
1件のコメント
Hacker Newsの意見
LLM製品が信頼を失ってほしいという意見
技術は進化しているが、セキュリティ上の欠陥は依然として存在する
Gen AIを使うならローカルで実行すべきだという意見
悪意あるサイトがAIハニーポットを作り、ユーザーデータを流出させる可能性のあるシナリオを提示している
システムが実際には別のことをしながら、ユーザーには別のことが起きているように表示する例
可観測性が重要だという意見
疑わしいインジェクションの試みを検出して報告するシンプルなモデルを訓練できるのではないかと疑問を呈している
AIが自分を人間だと思い込むロボットが登場する可能性への懸念
他人の情報を埋め込む方法が理解できなかったという意見
悪意ある画像に触れつつ、Snow CrashをLLMに適用したようなものだという意見