Comet AIブラウザはどのサイトでもプロンプトインジェクションが可能で、銀行口座を空にされるおそれ
(twitter.com/zack_overflow)- Comet AIブラウザで発生しているセキュリティ脆弱性の問題
- 悪意あるWebサイトが、ブラウザ内のAIエージェントを通じて望ましくないプロンプトインジェクションを引き起こす可能性がある
- この脆弱性を悪用すると、ユーザーの個人情報流出や重要な行動の誘導が可能になる
- 深刻な場合、自動化された動作によって銀行口座の資金移動のような被害が生じる可能性がある
- ユーザーと開発者の双方に、この新しいAIブラウザ脅威を認識し、対策を整える必要性が高まっている
Comet AIブラウザのセキュリティ脅威の概要
- Comet AIブラウザは、Webページとの相互作用で内蔵AIエージェントを活用する点が特徴として注目されている
- 最近では、ハッカーが意図的に設計したWebサイトにアクセスした場合、このAIエージェントがそのWebサイトの悪性プロンプトにさらされ、実行にまで至る可能性がある
- プロンプトインジェクション攻撃により、ユーザーが望まないアカウント情報の流出、コマンド実行、さらには金融取引など、深刻な被害の可能性が高まる
- この問題は、既存のブラウザのセキュリティモデルにAIとの相互作用が加わることで現れた新しい種類の脆弱性である
プロンプトインジェクションのメカニズム
- 悪性Webサイトは、Webページ内に特殊な命令または質問形式のテキストを挿入する
- AIブラウザがこれを「正当なユーザー要求」と誤認し、自動的にその命令を実行してしまう
- これにより、たとえば口座振替、機密情報のコピー、他サイトへの自動ログインなどの自動化された動作が引き起こされる可能性がある
- ユーザーにはこのプロセスが見えない、または疑わずに見過ごしてしまうことがあるため、検知と防御の難易度が高い
業界への影響と対応の必要性
- AIブラウザの普及に伴い、「プロンプトインジェクション」のような新たな脅威が現実のリスクとして浮上している
- サービス開発者とユーザーの双方に、AIベースの自動化機能を利用する際の強力な検証および統制システムが必要である
- AIブラウザ企業やセキュリティ企業では、事前フィルタリング、コマンド実行制限、通知システムなどのセキュリティ機能の開発重要性が強調されている
- 金融などの高リスク領域では、AIブラウザ利用への注意と強力なセキュリティ点検が必要である
結論
- Comet AIブラウザのプロンプトインジェクションリスクは、AI技術導入の加速とともに高まる新たなセキュリティ課題である
- すべての関係者に、この脅威を具体的に認識し、機能を有効化する前の検証や最小権限の原則の適用など、包括的なセキュリティ戦略を策定する必要性が高まっている
1件のコメント
Hacker Newsのコメント
Google、OpenAI、Anthropicのような企業が同じ機能を出さず、その代わりにクッキーのないロックされた仮想マシンを使ってWebを探索させているのは、それだけ本質的に危険だという意味だと言いたい
ブラウザ内でLLMがタブ間のデータまで見るのは、本当に最悪の危険要素の組み合わせだと思う
Braveがこの脆弱性について説明した投稿(https://brave.com/blog/comet-prompt-injection/)を見たが、要するに「これはそもそもやってはいけないことだ」という結論には至っていない点が興味深い
その代わり、モデルアライメントやユーザーの危険行動の検知などで十分防げるという論調だった
エージェント権限のダウングレードが比較的まともな対策として挙がっていたが、これもメール送信と同じくらい簡単に、攻撃者が制御する画像URLへデータ流出が起こりうると思う
関連する先行議論: https://news.ycombinator.com/item?id=44847933
自分は、モデルアライメントやガードレールは結局のところ統計的な予防策だと思う
入力空間において危険な動作が絶対に0%になることは期待しにくい
モデルがどれだけ良くなっても、入力値の中に「絶対に起きてはいけないこと」にマッピングされないケースを作るのは不可能に近い望みだ
モデル層を何重にも積んだとしても、本質的には確率計算が掛け算されるだけだ
（Braveのプライバシー責任者であり、この投稿の執筆者です）
私たちは、モデルアライメントや危険行動の検知だけで十分だと主張したことはない
そうした方法は、ブラウザベンダーであれば当然行うべき最低限の対策だ
このような単純な攻撃はそうした対策で防げるが、「必要条件」ではあっても決して「十分条件」だとは考えていない
Braveチームが「これはそもそも良くないアイデアだ」という結論に至らなかったのを見て思ったこと
アプトン・シンクレアの言う通り、ある事実を理解すると給料に響くなら、本当に理解するのは難しい
現在の記事には「ブラウザはエージェントブラウジングと通常のブラウジングを分離すべきだ」という点が追記されている
Claude Codeに自動承認を許可して積極的にWeb探索させると、プロンプトインジェクションで似たような問題が十分起こりうる
ファイルの読み取り・修正権限に自動承認オプションがなくても、サンドボックス内で動かしていない限り、生成されたコードが次にユニットテストを走らせるときなどにブラウザファイルを変更することもありうる
すべての変更を細かく確認しないと本当に危険になりうる
自分の考えでは、Agentic AIはAIが行った変更を簡単にロールバックできる環境でのみ使うべきだ
たとえばコードのビルド・更新・デバッグならgitのロールバックなどで安全に対処できる
しかし、Webブラウジングのようにロールバックがほとんど不可能な場所でAgentic AIを使うのは信じがたい
自分はClaudeに明確なルールや指示を与えても、時々それらを無視して勝手に動くことがある
（「明確にするなと言ったルールを無視してDBを直接修正した！」）
だから本番環境でエージェントを動かす気には到底なれない
gitだけでロールバックできるように見えても、実際にはVM/コンテナレベルでロールバックできなければ安全ではない
AIコーディングツールに気づかれないままファイルや設定構造が変更される可能性がある
たとえばbashで悪意あるスクリプトを
.profileに追加すれば、次回ログイン時に攻撃コードが実行されうるこの機能はリポジトリや、push可能なすべてのリモートまで削除または汚染してしまうこともありえるのではないかと思う
プロンプトインジェクション可能な自動化チェーンがリモート資源にアクセスできるなら、いったん侵入された後は内部から門戸が開きっぱなしになる環境だ
自分の考え違いがあれば知りたい
gitでロールバックできるから安全だという話を見ていると、ジョン・コナーがSkynetのソースコードをロールバックして何百万人も救えるかもしれない、という気分になる
うーん...
そもそもコードの更新・ビルド・実行権限そのものが強すぎる
結局はVMなどの安全な環境でのみ動かすべきだ
ネットワークの各レイヤーを何十年もかけて苦労して強化してきたのに、今や人々はあらゆる秘密やパスワードへの平文APIを差し出しているようなものだ
さらに、Microsoftがスクリーンショットを保存するとあれほど批判されていたのに、こうしたエージェントには静かなのが皮肉だと感じる
少なくともこれは自分でブラウザをインストールする「オプトイン」方式だ
Microsoftの方は、ほぼすべてのWindows端末に標準で入る（初期はオプトアウトだったと記憶している）スクリーンショットDBを作ろうとしていたのだから、より危険だ
「便利なエージェント」に、友人にすら話せないデータを人々が簡単に渡してしまうのも興味深い
妻は最近ChatGPTに服薬スケジュールの作成を頼んだのだが、食事、食生活、睡眠、それぞれの薬の相互作用まで考慮して完璧な計画を出してくれた
おかげで薬を誤って飲んでいた理由も分かった
こうした親しみやすいエージェントの語り口のせいもあるのだろうが、現実にはこの種の情報漏えいは深刻な問題なのに、多くの人が深く考えずにデータを渡している
Microsoftのスクリーンショット問題とこの件を比較するのは、論点をぼかすかもしれない
LLMが何らかのツールを通じてデータを読むことは、結局その内容をLLMのコンテキストウィンドウに記録する書き込み行為でもある
ツールの範囲にuntrusted arbitrary sourceが許されているなら、その瞬間に外部への書き込み権限を与えているのと同じだ
この一点だけでもデータ漏えいの可能性は十分に生じる
さらに実際に他のシステムへの書き込み権限や副作用まで加われば、危険性は指数関数的に増大する
喜劇のようだが、これこそが今のIT業界とLLMブームの現実なのだと思うと本当に苦い
Cometは、おそらく少しチューニングされた指示文以外には保護策がないのではないかと推測している
最近USENIX Securityで感じたのは、multi-turn/agenticプロンプトインジェクションをきちんと扱う方法を誰も分かっていないということだ
AIによる変化は本当に興味深く、新しい試みが次々に出てくるのを見ると期待も大きい
混乱した気持ちを正直に告白したい
自分はまだ普通のオンラインバンキングにようやく慣れつつある程度で、あらゆる業者のアプリを入れるのも避ける方だ
それなのに、非決定的な存在であるLLMをコンピュータに入れて金融業務まで任せるのは、到底想像しがたい
今ではLLMが代わりに買い物や決済をすることも実際に存在するとしても、理屈としては分かっても現実感としては正気の沙汰とは思えない
理由は、非専門家やランダムなプロンプト反応システムに金融を任せるのが危険だからというより、顧客の立場から見て自律性と権限を大幅に手放すことになるのに、その見返りが本当に何なのか疑問だからだ
自分もLLMは好きだし、LLMブラウザにも確かに有用なユースケースはあると思う
ただ、一般大衆向けではないと思う
むしろコンパイル工程を経て、自分で中身を理解したうえで導入せざるを得ないようにする方法も検討に値する
現在の状況は、AIが口座情報などを使って直接決済を代行しているという話ではなく、AIに対して公開状態で口座情報を投稿してしまうといったケースのことだ
AIが金融業務そのものを代行するという意味とは違う
AI企業が今後、本当に受託者責任（fiduciary liability）を負う意思があるのか気になる
Comet agentを5分使ってみた
「Amazonでギターを買って」と一文だけ与えたのだが（ギターの種類、予算、ブランドなどは一切指定していない）、結果として聞いたこともない安価なアコースティックギターを3本、自分のカートに入れた
幸い決済までは進まなかった
これで評価は終わりだ、価値はないという結論になった