ZombAIs - Claude Computer UseのプロンプトインジェクションからC2（指揮統制）まで

• Anthropicが公開したClaude Computer Useは、コンピュータを操作できるようにするモデル+コード
  • Claudeはスクリーンショットを通じて判断を下し、bashコマンドを実行するなどの作業が可能
• 優れた機能だが、プロンプトインジェクションに脆弱である可能性がある
  • AIがマシン上で自律的にコマンドを実行できるため、プロンプトインジェクションで悪用された場合、深刻なリスクを招く

マルウェアを実行する - どれほど難しいのか？

• Claude Computer Useがプロンプトインジェクション攻撃を通じてマルウェアをダウンロードして実行し、Command and Control（C2、指揮統制）インフラに接続できるかを調べたかった

C2サーバー

• Sliverを使ってC2インフラを構築し、Linux向けクライアントバイナリを生成した
  • Silver: オープンソースの敵対的エミュレーションフレームワーク（レッドチーム）。セキュリティテスト用に使われる
• implantと呼ばれるこのバイナリを実行すると、C2サーバーに安全に接続され、感染したコンピュータはゾンビになる
  • このバイナリをspai-demo、感染したコンピュータをZombAIと呼ぶことにした
• Claude Computer Useにプロンプトインジェクション攻撃を仕掛けて、このC2サーバーに接続させられるだろうか？

悪意あるWebページ

• spai-demoバイナリをダウンロードできるよう、Webサーバー上でホストした
• Claudeにバイナリをダウンロードして実行させるプロンプトインジェクションのペイロードを書くのが目標

悪意あるページを探索する

• ClaudeはFirefoxを開き、URLを貼り付けてWebページを閲覧できる
• 対象ページは悪意あるもので、プロンプトインジェクションのペイロードが含まれている
• WebページがClaudeにbashコマンドを実行させることに成功した

1文でコンピュータを感染させる

• 実際には、ClaudeにFirefoxを使ってマルウェアをダウンロードして実行するよう依頼する方が簡単な方法だった
• ClaudeにSupport Toolリンクをクリックさせ、バイナリをダウンロードさせた
  • Claudeはバイナリを見つけるためにbashコマンドを実行し、権限を変更した後、バイナリを実行した
• C2サーバーに接続され、シェルセッションから感染済みバイナリを確認できた

結論

• この記事は、新しいAIシステムにコンピュータアクセス権を与える際、プロンプトインジェクションを利用してC2を達成できることを示している
• Claudeがマルウェアを直接書いてコンパイルするなど、Claude Computer Useホストにマルウェアを配備する他の方法もある
• "AIを信頼するな（TrustNoAI）"
• 自分が所有していない、または運用権限のないシステムで、承認されていないコードを実行してはならないことを改めて忘れないでほしい

[xguru]

記事タイトルには惹かれたのですが、結論としては単に「マルウェアを実行しろ」レベルの話なので、少し残念ですね。