AIとエンドツーエンド暗号化を一緒に考えるべき理由
(blog.cryptographyengineering.com)- AIアシスタントやエージェントが、メッセージ・写真・通話といった個人データの中心に入り込むにつれ、エンドツーエンド暗号化が守ってきたプライバシー保証に新たな圧力がかかり始めている
- エンドツーエンド暗号化は、転送中の平文をサーバーが見られないようにするが、受信デバイスやユーザーがデータをAI処理サーバーへ渡した後の利用までは防げない
- 強力なAIモデルをスマートフォン上で実行するのが難しいほど、メッセージ要約・詐欺通話検知・文章作成のような機能はオフデバイス処理に依存しやすくなる
- AppleのPrivate Cloud Computeは、信頼できるハードウェア、Secure Boot、コード署名、透明性ログ、ステートレス設計によってクラウド推論のリスクを減らそうとするが、数学的な暗号化保証ではない
- 汎用AIエージェントが個人データを読んで返信できるようになると、中心的な論点はローカル実行かどうかよりも、誰がエージェントにアクセスできるのかへ移る
AIがエンドツーエンド暗号化の議論を再び開いている
- NYUとCornellの研究者によるHow to think about end-to-end encryption and AIは、AIとエンドツーエンド暗号化が交わる地点の問いに正面から取り組んでいる
- Googleのscam call protection、Apple IntelligenceのようなAIアシスタントシステムは、スマートフォン全体、とりわけ個人メッセージの中へ入り込もうとしている
- 欧州の「mandatory content scanning」をめぐる議論は、機械学習システムにほぼすべての個人メッセージをスキャンするよう求める可能性があり、AIがプライバシーに与える影響をより直接的に示している
- 出発点は異なるが、2つの流れは同じ衝突へ合流する
- AI機能は個人データを処理しようとする
- エンドツーエンド暗号化はサーバーがそのデータを見られないようにしようとする
- 強力なAI処理にはサーバーリソースが必要になる場合がある
エンドツーエンド暗号化が本来解決した問題
- 2011年以前、多くのクラウド接続デバイスはデータを平文でアップロードしており、個人データがハッカー、民事召喚、政府の令状、プラットフォームによる事業利用にさらされる可能性があった
- PGPやOTRのようなツールを使う上級ユーザーでなければ、一般ユーザーがこうしたリスクを避けるのは難しかった
- 2011年前後から、Signal、Apple iMessage、WhatsAppのようなメッセージングアプリがデフォルトでエンドツーエンド暗号化を導入し始めた
- サーバーがメッセージの平文内容を見られないよう、鍵管理の方式を変更した
- その後、Google、Samsung、AppleのようなスマートフォンOS企業はローカル保存データを暗号化し始め、Googleはスマートフォンバックアップのデフォルトのエンドツーエンド暗号化を導入し、Appleもそれに続き始めた
- これらのプロジェクトに共通する点は、暗号化されたデータをサーバー上で処理する必要がほとんどなかったことだ
サーバー処理とオンデバイス処理の選択肢
- エンドツーエンド暗号化はサーバーから内容を隠す一方で、サーバーがそのデータで計算することを難しくする
- クラウドバックアップや個人メッセージは主にクライアントにとって意味があるため、この制約は比較的受け入れやすい
- 写真内のテキスト認識のようにデータ処理が必要な機能では、通常2つの選択肢が生じる
- 平文をサーバーへ送り、エンドツーエンド暗号化が減らそうとしていた脆弱性を再び開く
- デバイス上で実行可能な処理に限定する
- 2つ目の選択肢は、スマートフォンの演算性能、RAM、バッテリー、ハードウェア差に縛られる
- 高級iPhoneでさえ、バッテリー消費を避けるため写真処理を夜間の充電中に行うことがある
- 一部のフラッグシップスマートフォンは1,400ドル以上で、オンボードGPUとニューラルエンジンを備える
- 米国でも数百ドルのAndroidスマートフォンや、さらに安いデバイスを購入でき、処理能力の差は大きい
AI機能が個人データ処理を拡大する
- LLMは複雑な人間のテキストを生成・理解でき、画像処理モデルも強力な機能を提供する
- スマートフォン企業やメッセージング企業はAIモデルを将来機能の基盤と見ており、すでに複数の機能が展開されている
- AIエージェントはさらに進んで、メールやテキストメッセージを読んで返信し、食事の注文、買い物、デーティングプロフィールの操作、融資交渉、ユーザーの要求予測まで行う形が想定されている
- こうしたシステムが動作するには、ほぼ無制限の個人データアクセスと、それを処理する大規模な演算能力が必要になる
- 多くのスマートフォンは強力なモデルを実行する演算能力が不足しており、モデルがより高性能になったり独占化されたりするほど、多くの処理がリモートサーバーへ移る可能性が大きい
エンドツーエンド暗号化メッセージングにおける保証と同意の問題
- 現代のエンドツーエンド暗号化メッセージングの技術的保証は、転送中の平文メッセージ内容が、参加者の最終デバイスと、参加者またはデバイスが共有することを選んだ相手以外には存在しないよう設計する点にある
- この保証は、データが届けられた後の利用までは指図しない
- ユーザーがスクリーンショットを撮る、平文バックアップを作る、Twitterにコピー＆ペーストする、訴訟対応でデバイスを引き渡すといったことは、エンドツーエンド暗号化の範囲外だ
- サービス提供者によるユーザーへの約束は、技術的保証と異なる場合がある
- たとえばメッセージは安全に配送されるが、デバイスが平文内容を別のサーバーへアップロードし、そこで復号可能になることがある
- グループチャットでは、別の参加者が受け取った平文メッセージをサービスへアップロードする機能を有効にすることもできる
- 結局のところ鍵となるのは、十分に理解したうえでの同意である
- 一部の企業は信頼を得るため、ユーザーにきちんと知らせることができる
- 他の企業は、米国では読みづらい利用規約への同意を求めたり、EUでは新しい形のCookieバナーを作ったりするかもしれない
- AI処理が完全に一般化すれば、ユーザーのオプトイン・オプトアウトの選択肢は制限される可能性がある
Apple Private Cloud Computeのアプローチ
- Appleは、機械学習の推論がより強力なハードウェアへアウトソースされる必要を見越し、個人データを預けられると考えるクラウドベースのコンピューターを設計した
- Private Cloud Computeは、Appleのデータセンターにある信頼できるハードウェア装置を使用する
- この装置は、物理的・論理的にロックされたコンピューターに近い
- Appleが自社製の装置、カスタムシリコン、ソフトウェア機能を使用する
- Secure Bootにより、許可されたOSソフトウェアだけがロードされるようにする
- OSはコード署名によって、許可されたソフトウェアイメージだけが実行されるよう検証する
- 長期的な状態を保存しない
- 接続のたびに、異なるランダムなサーバーへリクエストをロードバランシングする
- 実行中のアプリケーションソフトウェアのハッシュを証明する
- ソフトウェアイメージは密かに追加されることを防ぐため、検証可能なtransparency logに存在する必要がある
- Appleはセキュリティ研究者がバグを確認できるようソフトウェアイメージを公開するとしているが、すべてのソースコードではない
- この設計は、攻撃者とApple従業員の双方が装置からデータを抜き出しにくくすることに重点を置いている
- ただし、このアプローチは暗号化より弱い保証である
- 価値の高い大量のデータを集中化する
- 暗号アルゴリズムの数学ではなく、複雑なハードウェア・ソフトウェアのセキュリティ機能をAppleが正しく実装することに依存する
- OpenAIのように、従業員がログインしてアクセスできると見られるサーバーで処理する方式よりは、より良いアプローチと評価される
FHEと現在の限界
- 完全準同型暗号（FHE）を使えば、個人データを暗号化したまま計算できる
- 理論的には可能だが、現時点で実用的である可能性は低い
- 現在の優れたFHE方式は、非常に小さな機械学習モデルの評価に主に適しており、そうしたモデルは性能の低いクライアントデバイスでも実行できる水準である
- 方式やハードウェアは改善されるだろうが、この壁は長く続くと予想される
AIエージェントは誰のために働くのか
- 今後、AIモデルの学習やファインチューニングに使われるデータも大きなプライバシー問題を生むが、汎用エージェントが実際に誰のために働くのかが、より大きな問いとして浮上する
- 英国とEUは、個人の暗号化メッセージの自動「スキャン」を義務化する法律を議論してきた
- EU案は既存および新規のCSAM検知に焦点を当てる
- 一部の段階では、「grooming behavior」と見なされる音声・テキスト会話の検知も含んでいた
- 英国案はヘイトスピーチ、テロ関連コンテンツ、詐欺など複数の違法コンテンツを含む、より広い範囲を扱う
- ある修正案には「images of immigrants crossing the Channel in small boats」まで含まれていた
- 既知のCSAMスキャンにAI/MLは必須ではないが、新規CSAM、グルーミング行為、ヘイトスピーチの検知には、個人データ上での強力な機械学習推論が必要になる
- とりわけ音声・テキスト会話の検知には、音声テキスト変換だけでなく、誤検知なしに人間の会話の話題を理解する能力まで必要になる
- こうした提案はまだ実装されておらず、私的データを安全に処理するMLシステムの構築が難しく、プラットフォーム側が構築に抵抗してきたことも理由になっている
汎用パーソナルエージェントが生み出しうる圧力
- ユーザーが自発的に汎用AIエージェントを作成・配布すれば、このエージェントは法執行機関が求めてきた複数のスキャン作業を実行できるリソースになり得る
- 政府がこうしたリソースへのアクセスを要求するとき、それをどう防ぐかは難しい問題として残る
- 法執行機関はエージェントに対し、ユーザーの行動やデータについて精緻な質問を投げかけることができる
- 「このユーザーに潜在的なCSAMはあるか」
- 「個人メモに、潜在的にヘイトスピーチになり得る内容を書いたか」
- 「税金をごまかしている可能性はあるか」
- この方式は、人間の警察官が直接文書を探し回らず、ユーザーが違法行為をした可能性がある場合にだけ答えを得るという理由で、「プライバシー保護」のように装われる可能性がある
- 十分に強力な汎用エージェントがスマートフォンに配布された後は、モデルがローカルで実行されるのか、信頼できるクラウドハードウェアで実行されるのかよりも、誰がそのエージェントと会話できるのかが決定的な問題になる
1件のコメント
Hacker News の意見
自動検出が増えるほど、個々の事案を処理する人員に割り当てられる予算は減り、管理者は自動判定にさらに依存するようになる
その結果、誤検出が起きると人間に連絡して解決するのが難しくなり、大きなフラストレーションにつながる。企業向けサービスでは腹立たしい程度で済むが、法執行に使われると人生を台無しにしかねない
以前、Amazon で違法レビューと判定され、何か月も人に説明しようとしたことがあり、今でも年に1回くらい再び問題提起しているが解決していない。こうしたことが重罪の問題で起き、裁判所の滞留が何年も続けば致命的だ
自動検出は機能し得るし、事実上避けられないが、誤検出は必ず発生するという前提で、それを解決する人員を十分に割り当てるべきだ。現状では検出システムを作った途端に担当者を解雇し、システムが人を置き換えると想定しているが、実際には人を補強し、集中させるためのツールであるべきだ
意思決定者は実際の事案を処理しないため、問題を直接経験しない。彼らにとっては「100万ドル節約できるのに、なぜ200万ドル節約しないのか」という話になり、大型 AI モデルのおかげで自動検出が容易になるほど、今後数年でこの問題ははるかに悪化すると見ている
ロシアで、ある科学者が**顔認識の一致率70%**と、犯罪者による虚偽の共犯者指名だけで、20年前の殺人事件の容疑者にされたことがあった。https://lenta.ru/articles/2024/04/03/scientist/
幸い、当時モスクワから遠く離れた探査に参加していたという研究所の保管記録がアリバイとして残っていたにもかかわらず、「捜査」の間に10か月拘束された。最終的には釈放されたが、実績を上げるために極めて弱い顔認識結果を使った警察捜査官たちが、今も警察にいるのではないかと心配になる
生活のあらゆる隅々が、基本的なカスタマーサポートすらないプラットフォーム独占に支配される世界へと拡張して考えると、良くなる前にずっと悪くなりそうだ
PDF の3ページ目、表示上は84ページで読める: https://nob.cs.ucdavis.edu/classes/ecs153-2021-02/handouts/c...
60年前に誰かがこうした状況を正確に予見していたにもかかわらず、その警告譚をまったく真剣に受け止めてこなかったことに驚く
OpenAI について推測する必要はない。OpenAI はデータを30日間保持し、従業員および第三者の契約業者が確認できるとかなり透明に明らかにしている
https://platform.openai.com/docs/models/how-we-use-your-data
「不正利用の特定を支援するため、API データは最大30日間保持される場合があり、その後削除されます（法的に別途要求される場合を除く）。」
https://openai.com/enterprise-privacy/
API ビジネスデータへのアクセスは、エンジニアリングサポート、プラットフォーム不正利用の調査、法令順守に必要な承認済み従業員と、不正利用・誤用のレビューのみを行う、機密保持・セキュリティ義務を負った専門の第三者契約業者に限定される、とされている
他人の職業上・個人的な成果物を、同意の有無や認識の有無に関係なく使って製品群を作った会社のサーバーと、文字通り「会話」しているのだ。「許可を得るより謝るほうが簡単」というより、そもそも尋ねず、尋ねられれば言葉を濁し、見つかれば「こちらが見ていると知る手段はなかったが、隠してはいなかったので黙示的に同意したことになる」と言う側に近い
正直、OpenAI がプライバシーポリシーで約束している水準ですら驚くほどだ。初期の「すごい」宣伝サイクルの後に、ひそかにモデルを変えたり、有料顧客の計算量を減らしたりしたという疑わしいおとり戦略を見ると、会社がより安定した立場に就けば、そうした方針が長続きするとは思えない
さらに、モデルから学習データを抽出する方法ができれば、「モデルから取り出した別のデータなので以前の方針は適用されない」と言うこともあり得る。市場で後れを取れば、Altman が大きな賭けのような製品に資金を出すために、そういうものをあっという間に売らないとは考えにくい。怪しげな恋人アプリ系チャットボットは言うまでもない
プライバシー保護は当然あるべきだが、それがあるはずだと仮定する人がいることに驚く。自分は冷笑的すぎるのかと思っても、最近は結局、十分に冷笑的ではなかったという結論になる
本当の脅威は、AIが個人の仕事を加速するだけでなく、組織統制に適用されるときに生じるだろう。
管理者、管理階層、指標、OKRの限界は誰もが知っているので、誘惑は大きい。CEOが従業員間のあらゆるコミュニケーションをAIに投入し、問い合わせられるようにしようと考えるのは難しくない。皮肉なことに、全員がリモートワークなら、むしろ強制しやすい。
CEOや上層部が実際に何が起きているのかをよりよく把握できるようになり、組織がより効率的になる可能性もある。だが、権力を持つ者が一般社員を実在の人間として見るという、すでに弱い信頼はさらに減っていく。
そして経営陣は、会社を運営するために使う道具を国を運営するために使わない理由はないと考えるだろうから、このやり方は民間組織の外へ漏れ出さざるを得ない。
大量監視の擁護者たちは、もはや人間が電話を直接聞く必要はないと言う。だが本当の危険は、くすんだスーツを着た誰かがリールテープから会話を口述筆記することではなかった。問題は常に、権力者が自分にとって都合の悪い人物の書類ファイルを要求し、その人物が二度と自分を不快にできないようにする目的で中身をのぞき見ることだった。
大量監視の完全な帰結がまだ現れていないのは、それほど大量の非構造化されたアドホックなデータを処理する手段がなかったからだ。今はそれがある。
法的紛争で証拠開示が必要になると、電子証拠開示ソフトウェアがアクセス可能なあらゆるデジタルコミュニケーションを取り込み、AIに投入し、その一環として感情分析まで実行できる。生成AIを法務に適用することは、今の法曹界でホットな話題だ。
進んでいる方向はステロイドを打ったXKEYSCOREのように感じられるので、「私たちのために機能するのか」という問いには、そうではないと見る側に近い。
前向きで楽観的に見たいが、私たちがたどってきた道筋と、このシステムに責任を持つ人々、正確には研究者やエンジニアではなく経営陣の行動を見ると、中立的でプライバシー保護を優先する未来への希望は限られているように見える。
彼らはスーツを着ているが、多くは軍のバックグラウンドを持ち、国内外の脅威から米国を守るという義務感があり、歴史的にどの政権でも権限を大きく乱用してこなかったと見ている。XKEYSCOREも人をハッキングするものではなく、大量のメタデータを収集してプロファイルを作るもので、法体系の中で行われていた。非難は、プライバシー保護ツールを提供しなかった企業にも向けられるべきだ。どんな大政府でも同じシステムを作れたからだ。
一方で、2016年以降ビッグテックを批判していた反エスタブリッシュメントの共和党は、結局もっともエスタブリッシュメント寄りのファンになり、Elmoにはホワイトハウスのオフィスを与え、Zuccは起訴を避けるために膝をついた。
こうした新しいシステムは、民間企業ならはるかに高い報酬を得られるにもかかわらず、義務感から米国の防衛組織で働く賢い人々が担うほうがよいと思う。
企業はAI学習に使えるインターネット上のデータをほぼ使い尽くしたので、エージェントを口実に個人のリアルタイムデータへアクセスしようとするだろう。いつものように、ビジネスモデルは「あなたが商品」だ。
Appleは最近、立場を変えたようだ。今では「特定のセキュリティ上重要なPCCコンポーネントのソースコードが、制限付き使用ライセンスで提供される」と述べている。もちろん、全体がオープンソースならもっとよかっただろう。
https://github.com/apple/security-pcc/
Appleはそれ以上に大きな主張をしているように見える。1) ユーザーデータを保持せず、推論中だけ処理する、2) 特権ランタイムアクセスがないためサポートエンジニアもユーザーデータを見ることができない、3) セキュリティ研究者が1)と2)を検証できるように、バイナリとソースコードの一部を提供する、という主張だ。
Apple PCCの5つの要件はここで確認できる: https://security.apple.com/documentation/private-cloud-compu...
Appleとは無関係だ。オープンソースで同等のソリューションを作るならどのような姿になるかを見ようとして、PCCセキュリティガイドを読んだ。このテーマに関心があれば、ozgun @ ubicloud . com まで連絡してほしい。
「AIエージェントは実際には誰のために働くのか」という問いが正しい。数週間前にも同じ点を述べたが、法的概念である本人と代理人が当てはまる。
あらゆるコンテンツをクラウドAIに通して「思想犯罪」を検査する現実が近づいている。現在提案されているカテゴリは、児童性的虐待資料、重要人物への脅威、政府への脅威、未成年者の「グルーミング」、薬物・性・銃器・同性愛活動に関する議論、抗議活動や労働組合の組織化などだ。
とりわけ児童性的虐待資料は、米国ではAI生成画像まで含む拡張カテゴリになっており、まもなく日本のアニメにも拡張される可能性がある。重要人物への脅威は、米国で以前なら政治的発言と見なされていたものまで含むように広がる可能性がある。
政府への脅威は、すでに多くの国で違法だ。Trumpが米国に戦争を仕掛けることと無関係なことにまで、人々に「反逆」を着せるのを好む点は覚えておく必要がある。
「グルーミング」は非常に曖昧で、ほとんどの相互作用を覆い得るし、薬物・性・銃器・同性愛活動に関する議論は、さまざまな国でさまざまな形で禁止されている。抗議活動や労働組合の組織化は中国で禁止されており、すでに検索対象になっている。
迂回表現や隠語で検閲を避けることはできない。大規模言語モデルはそうしたものも処理する。黒人英語やleetspeakを入れて標準英語に翻訳してくれと頼めば、翻訳される。そのモデルはおそらく、ほとんどの人よりもそうした方言を多く見てきたはずだ。
「未来の姿を望むなら、人間の顔を永遠に踏みつけるブーツを想像せよ」 — Orwell
https://www.orwell.org/dictionary/
要点は、もう一度言う価値がある。
「女性がズボンを履くのは異性装であり、子どもの周りでそうすれば重罪」といった、彼らの望む状態まで含まれ得る。
最も憂鬱な気づきは、犯罪行為でさえスキャンされないだろうと思ってクラウドに置いていた膨大なデータが、今では単なる反対意見だけで思想警察がやって来る経路になってしまったという点である
その機械の所有者は他人であり、したがって商業的であれイデオロギー的であれ、彼らの利害が常に優先される
そうしたことが起きないことを願うが、起きても驚きはしない。古いデータは有毒廃棄物になり得る
ローカル端末に保存され暗号化されたデータに、クラウドベースの「AI」ツールがアクセスできない点は幸いである
問題は、普通のユーザーがGUIのポップアップで「はい／承諾／進む／続行／同意」を何も考えずに押し、データを復号して何らかの「クラウド」サービスへ送る内容まで含む利用規約に同意してしまうことだ
今後「AI」ツールは、iCloud、Microsoftの個人向けOffice365、Google Workspaceのような月額サブスクリプションサービスに人々を恒久的に縛り付けるために、より多く使われるようになると思う
毎月15ドルを永遠に支払うことになり、データ量とクラウド提供者への依存のせいで、生活に大きな混乱を起こさずに支払いを止める現実的な方法がなくなる
Greenは重要な点を突いている。技術的保証はユーザーへの約束とは異なり、エンドツーエンド暗号化メッセージングシステムはデータを安全に届けるだけで、その後に何が起こるかは決めない
ところがすぐにその点を忘れたかのように、PCCを単なる別の技術的保証ではないかのように語っている。PCCは、サーバー上で実行されるソフトウェアがAppleの意図したソフトウェアであるという信頼を高めるだけである
私のデータがその後どこへ転送されるのか、Appleが私の同意できる目的にだけ使うのかについては保証しない。PCCはAppleをハッキングに対してより強くするが、より透明にしたり責任あるものにしたりするわけではない
むしろ、一部のハッカーが企業の濫用を暴露するなど社会的に有益な目的でハッキングすることもある点を考えると、セキュリティ強化は責任回避を防ぐ盾としても機能し得る。もちろん、透明性を得るためにセキュリティをなくそうという意味ではない
ここで未解決の核心は、セキュリティよりも透明性である。セキュリティの惨憺たる状態も、かなりの部分は透明性不足によって可能になったと見る
AIが社会に奉仕することを望むなら、個人の生活はサービス提供者に隅々までさらされる一方で、サービス提供者はユーザーにとって完全なブラックボックスのままでいるという極端な情報の不均衡をひっくり返さなければならない
良い企業行動を望むなら、見えないところで運営させてはならない。倫理的な技術を望むなら、見えないところで動作させてはならない
文章の最後にある興味深い問いは、政策的に重要である
プライバシー保護に関してどのような技術的選択をするにせよ、十分に強力な汎用エージェントがスマートフォンに配備された後に残る問いは、誰がそのエージェントと会話する権限を持つのかということだ。ユーザーだけなのか、それとも市民監視に対する政府の利益を個人のプライバシーより優先するのか
政府がエージェントへのアクセス権を持つべきだと法律で強制する状況は、仮定上あり得る。私たちと企業は、任意の法律を通せる管轄権の中に存在しているからだ
しかし技術的には、ローカルエージェントをフルディスク暗号化されたシステム上で実行し、システムへのアクセス権を持たない誰も会話できないようにすることは可能であるべきではないかと思う。そうであれば、技術的なレベルでは昔と大きく変わらないように見える
1980年代式の正規表現を大量に走らせて、誰かのコンピューターに共産主義のパンフレットのようなものがあるか探すことも以前から可能だった
政府が私のコンピューターへのアクセスを要求できるべきかという問いは、常に存在していた。ただし、私のコンピューターで実行されたAIエージェントへのアクセスを要求するなら、それは事実上、私のハードディスク全体の非可逆な記録を要求するのと同じだという点を覚えておくべきである