- OSレベルに統合されたエージェント型AIは、個人のデジタル活動全体を記録し、マルウェアにさらされる可能性がある点が主なリスクとして指摘された
- SignalのMeredith Whittaker氏とUdbhav Tiwari氏は、第39回Chaos Communication Congressで、この種のAIはセキュリティ・信頼性・監視のあらゆる面で脆弱だと発表した
- MicrosoftのRecall機能は、ユーザーのあらゆる画面を定期的にキャプチャしてデータベース化し、この情報がマルウェアやプロンプトインジェクション攻撃にさらされる可能性がある
- Whittaker氏は、AIエージェントは確率的システムであり、ステップが増えるほど精度が急激に低下し、複雑な作業を実行する信頼性が低いことを数値で示した
- 両氏は、無秩序な展開の停止、デフォルトでのオプトアウト設定、透明性の強化を求め、そうしなければ消費者の信頼喪失によってAI業界全体が危機に陥る可能性があると警告した
エージェント型AIのセキュリティおよび監視リスク
- エージェント型AIがOSレベルで統合されると、個人のデジタル生活全体がデータベースに保存され、マルウェアからアクセスされる可能性が高まる
- こうしたデータベースには、ユーザーの行動、テキスト、アプリ利用時間、フォーカス中の活動などがすべて含まれる
- 同意なしに自動で有効化される場合もあり、プライバシー侵害への懸念が大きい
- Signal幹部は、この構造がセキュリティ上の不安定さと監視リスクを同時にもたらすと指摘した
Microsoft Recallの事例
- MicrosoftはWindows 11でRecall機能を通じてエージェント型AIを導入している
- Recallは数秒ごとに画面をキャプチャし、OCRと意味解析を行って、ユーザーのあらゆる活動をデータベースとして蓄積する
- データには、行動タイムライン、元のテキスト、アプリごとの集中時間、トピック分類などが含まれる
- Tiwari氏は、このアプローチではマルウェア攻撃や隠れたプロンプトインジェクション攻撃を防げないと指摘した
- こうした脆弱性は**エンドツーエンド暗号化（E2EE）**を回避しうる
- Signalは自社アプリの画面録画をブロックする機能を追加したが、根本的な解決策ではないと評価している
エージェント型AIの信頼性の問題
- Whittaker氏は、エージェント型AIは確率的システムであり、ステップが増えるほど精度が急激に低下すると説明した
- 各ステップの精度が95%の場合、10ステップの作業成功率は約59.9%、30ステップでは約21.4%
- 現実的な90%精度を基準にすると、30ステップ作業の成功率は4.2%まで急落する
- 現在の最高水準のエージェントモデルでさえ70%の失敗率を示すと述べた
- したがって、複雑な自動化作業を任せるには信頼性が極めて低い技術段階だと強調した
プライバシーとセキュリティのための改善策
- Whittaker氏は、現時点ではプライバシー・セキュリティ・コントロールを完全に保証する方法はなく、一時的な対処（triage）しかできないと述べた
- しかし、次のような措置でリスクを緩和できるとした
- 無秩序なエージェント型AI展開の停止、マルウェアが平文データベースにアクセスできないよう制限すること
- デフォルトでのオプトアウト設定とし、開発者のみが明示的にオプトインする方式へ変更すること
- AIシステムの動作方式とデータ処理過程の透明性確保、詳細レベルで監査可能な設計にすること
- こうした措置が取られなければ、消費者の信頼喪失によってエージェント型AI時代そのものが危うくなる可能性がある
業界全体への警告
- Signal幹部は、エージェント型AIが過剰な投資と過大評価の中で発展している一方、
セキュリティ・信頼性・監視の問題を解決しなければ業界全体が危機に直面すると警告した
- 企業は技術革新よりもユーザー保護と透明性の確保を優先すべきだと強調した
1件のコメント
Hacker Newsのコメント
これはAIの問題ではなくOSの問題だ
AIは、人間が書いてレビューしたソフトウェアよりはるかに信頼性が低いため、既存システムの欠陥を露呈させている
UNIXもMicrosoftもプロセス分離をきちんと実装できておらず、セキュリティモデルをうまく設計してもコンピュータやOSの販売には役立たなかった
Plan 9、SEL4、Fuschia、Heliosのような良い例はあるが、問題は意思決定者の見る目のなさだ
サンドボックス化と現代的なセキュリティモデルを理解していないことは、恥ずべきことだと見なされるべきだ
セキュリティの強い環境にソフトウェアを配布する際、デフォルトでは何とも通信できず、ファイルシステムも不変で実行すらできない場合がある
TLS証明書やCA設定まで含めると、デプロイは悪夢のようになる
Recallのような機能を安全に実装するには細かな権限制御が必要だが、現実にはUACのように煩わしくなる可能性が高い
AIを個人秘書のように機能させつつ、安全で信頼できるものにするのは非常に難しい課題だ
その多くはインターネット以前に設計されたため、今になって完全に作り直すのは互換性とコストの問題でほぼ不可能に近い
コンテナやVMは結局、既存システムの上に載せた継ぎ足しの解決策にすぎない
ブラウザ、メールクライアント、ワードプロセッサなど、どこに組み込んでも予測不能な挙動をする
結局のところ、「セキュアにできないLLMを統合するという選択」そのものが根本的な問題だ
完全な隔離はリソースと複雑さの面で高くつきすぎ、Qubesのようなシステムが普及しなかった理由もそこにある
根本的に攻撃面の小さいインターフェースを新たに設計する必要があるが、それはエコシステム全体を変える話になる
Signalがセキュリティとプライバシーを最優先に置くのは当然だ
一方で企業ITの役割はリスクを管理することだ
この二つの役割は完全に異なり、Signalの絶対的なセキュリティ基準は彼らのミッションには適している
IT管理者が組織のリスクを統制するには、どんなアプローチが賢明なのか気になる
Recallの前身のように見えるプロジェクトを、2009年にMicrosoft Researchで扱っていた記憶がある
名前はPersonalVibeで、ユーザー行動をローカルDBに記録するが外部には送信しない構成だった
プロジェクトのリンク
企業環境では「Agentic AI」の魅力は大きいが、より重要な価値は予測可能性だ
90%は正しく動き、残り10%でデータ漏えいやハルシネーションが起きるなら、それはエージェントではなくリスク要因だ
今はなおhuman-in-the-loopが必須の段階だ
企業は内部リスクは管理するが、外部リスクは利用規約やEULAで押しつける
たいていの人は「ベンダーを信じる」か「会社が防いでくれる」と思ってクリックする
経営陣は短期的な実績のために、AIリスクを未来へ先送りしたくなる誘惑に駆られる
Recallのような機能は正気の沙汰ではない発想だ
AnthropicやChatGPTも、ユーザーの業務データ全体をモデルに吸収しようとしている
今必要なのは推論段階で検証可能なプライバシーだ
私のデータが送信されるなら、必ず検証可能な方法で保護されていなければならない
人々は、自分の知らない企業にすべてのデータを渡している
必要なときだけ動作し、OSに統合されていないポータブルアプリの形なら許容できるかもしれない
問題解決の際に作業記録を残す用途には役立つ可能性がある
外部ネットワークに出ない環境こそが唯一の答えだ
個人が数百ドルで同等のプライバシーを期待するのは難しい
AI企業はすでに何年も違法すれすれのデータ収集を続けてきたが、政府も関心を示していない
技術の進歩が**「底辺への競争」**のように感じられる
セキュリティ研究の30年が無意味になったかのようだ
AIブラウザがCookieや認証トークンを扱うことで、攻撃面が無限に広がった
「仕組みも分からないシステムにすべてのアクセス権を与えよう」という発想は狂気だ
AIは行動を提案するにとどめ、決定は常にユーザー確認後に実行されるべきだ
たとえば購読解除の依頼を検知したら、「AIはこう判断しましたが、よろしいですか？」と尋ねる形だ
ただし人間には、90%正確なシステムを100%だと錯覚する心理的な問題がある
たとえば「Fooに関する記事のうちBarは除外」といった自然言語の要求を、構造化された検索クエリに変換して提案するような形だ
もちろん悪意あるデータセットがあれば危険だが、無差別にLLMを統合するよりははるかにましだ
AIを分離されたユーザーアカウントとして実行し、
ホワイトリスト方式のファイアウォールとオーバーレイファイルシステムを使えば、
望ましくない動作を防げるのだろうか
必要なのはインタラクションレベルのゼロトラストモデルだ
AIが機密データを直接見なくても作業を実行できるようにすべきだ
ハードウェアセキュアエンクレーブと組み合わせれば、プライバシー問題を根本から解決できるかもしれない
昨日私が求めていた内容と、まさに完全に一致する記事だ
関連リンク