マイクロソフト、自社のAIツール利用者を監視中

 (schneier.com)
1 ポイント 投稿者 GN⁺ 2024-02-21 | 1件のコメント | WhatsAppで共有
  • Microsoft は、中国・ロシア・イランのハッカーが自社のAIツールを使ってハッキング能力を高めていたことを確認したと発表
  • Microsoft と OpenAI は、Forest Blizzard、Emerald Sleet、Crimson Sandstorm、Charcoal Typhoon、Salmon Typhoon などの国家支援攻撃者による LLM 利用を追跡
  • Schneier は、Microsoft や OpenAI がこれを把握できた理由はチャットボットのセッション監視にあるとみている
  • 利用規約にこうした観察権限が含まれている可能性があり、他の AI サービスでも同様の利用行動追跡が可能かもしれない
  • AI ツールの利用者は、入力内容やセッションがサービス提供者に観察されうることを前提に、セキュリティ上の機微性を判断すべき

Microsoft の発表と AI ツールの利用

  • Microsoft は、中国・ロシア・イランのハッカーが自社のAIツールを使ってハッキング能力の向上を図っていたと発表
  • 文脈上、この AI ツールはコーディングツールと推定される

OpenAI と共同で追跡した攻撃者グループ

  • Microsoft は OpenAI と協力して検知した脅威インテリジェンスを共有
  • 報告書によれば、国家支援攻撃者として追跡されているグループが LLM によってサイバー作戦を強化している
    • Forest Blizzard
    • Emerald Sleet
    • Crimson Sandstorm
    • Charcoal Typhoon
    • Salmon Typhoon

チャットボットのセッション監視に関する解釈

  • Schneier は、Microsoft や OpenAI が攻撃者の AI 利用を知りえた唯一の方法は、チャットボットのセッションをのぞき見ることだとみている
  • 利用規約には、そのような権限が含まれている可能性がある
  • Microsoft と OpenAI だけでなく、他の AI 企業も利用行動を監視できる可能性があり、今回の発表はその可能性を確認した事例として扱われている

「spying」という表現に関する補足解説

  • 2月22日の編集で、「spying」という単語の使用に関する解説が追加された

関連記事

1件のコメント

 
GN⁺ 2024-02-21
Hacker News の意見

  • これをスパイ行為と呼ぶなら、OpenAI API の規約を読み直すべき。 「ハッカー」を名乗りながらその API を使い続けているなら、どちらかといえば自己責任だ
    OpenAI はサービス提供と不正利用の検知のために、API の入力と出力を最大 30 日間安全に保管でき、30 日後には法的な保存義務がない限りシステムから削除するとされている。適格なユースケースなら**ゼロデータ保持（ZDR）**もリクエスト可能
    出典: https://openai.com/enterprise-privacy

    • それでも LLM 以前のオンラインサービスと比べると、プライバシーポリシーがやけに悪い
      たとえば Google Docs のポリシーは https://support.google.com/docs/answer/10381817?hl=en で「Google はユーザーのプライバシーを尊重し、許可がある場合または法律で求められる場合にのみ非公開コンテンツにアクセスする」と述べている
      LLM API プロバイダーにも同じ水準を期待するのは合理的で、現状、彼らが大規模にユーザーを監視しているのは良くない
    • Azure の規約は違う。データ保持も拒否できる: https://learn.microsoft.com/en-us/legal/cognitive-services/o...
    • こうした条項はそれほど特異ではなく、GCP、AWS、Azure を含むクラウドサービス全般でかなり一般的
      特に機械学習/AI サービスの領域ではなおさらで、この規約が常識外れの水準だとは言いにくい

  • 「Microsoft が AI ツールのユーザーを監視している」みたいに言い換えているのが笑える。実際には、権威主義国家の敵対的政府が AI ツールを違法行為に使っていることを Microsoft が突き止めたという話で、規約にはこうした追跡が明記されており、ユーザーは「同意します」をクリックしなければならない
    次の見出しは「大手テレビ局が Champions League の試合中にサッカー選手を監視」あたりになりそう

    • 私たちにとって明白だからといって、全員にとって明白なわけではない
      扇情的な見出しにも正当性はあるし、一般的だからという理由で受け入れられるものでもない。こうした一方的な規約がユーザーに敵対的な行為を可能にしているという認識が広がるのは歓迎したい
    • 「はい」を押さずにそれらのツールを使えるのか？
    • そのうえ Microsoft はわざわざ中国に AI 研究所を作った。ありえない
    • ランダムな「ユーザー」ではなく、Bruce Schneierだ
    • この話が大したことではないという点には強く同意する
      ただ、「Microsoft が X を監視する」のような文が、今では自明の命題として受け止められている点のほうが、むしろニュースのように見える。つまり「スパイが X を監視する」という言い方は「Microsoft = スパイ」という意味になり、この文脈だけでなくあらゆる文脈でそう読まれるようになる
      その後は、規約、合法性、違法性、敵対性、友好性といった要素はすべて二次的なものになってしまう

  • Google Bard、いやGeminiは、ホームページでこの点を非常に明確に示している
    「Gemini Apps を動かす技術を改善するため、ユーザーの会話は人間のレビュアーによって処理されます。レビューされたり使用されたりしてほしくない内容は入力しないでください。」
    会話するだけで、Gemini を動かす機械学習モデルを含む Google サービスの改善に寄与し、その過程で訓練を受けたレビュアーが会話を処理する必要があるとされている。Gmail や Drive などの Google Workspace コンテンツは Gemini 改善のためにレビューまたは使用されず、今後の会話がレビューされたり機械学習モデルの改善に使われたりしないようにするには、Gemini Apps Activityをオフにできると説明している

    • Google が実際に監視されない利用方法をサポートしているのか、もっと明確に示してほしい
      ここでは半分くらいしかはっきりしていないように見える

  • 単に「Microsoft がユーザーを監視している」と縮めてもよい
    最新のMicrosoft 製品を使えば多くのデータを送っているということで、そこで終わり

    • もっと一般化すれば、「全員がユーザーを監視していて、それがインターネットの動く仕組み」だ

  • その通り。不正利用を監視するとかなり明確に言っていて、期間は30 日
    これがなぜ驚くことなのかわからない

    • 大したことのない事例の中でも、かなり穏当で予想可能な部類。ホストされたバックエンド上で完全に動くプラットフォームを使えば、すべてが記録・保存され得るのは当然
      それに比べると Nvidia は、すべてのタイトルバーの値とすべてのクリックをサーバーへ送り、拒否しても「必須」と分類されて送信される。今インストールされているものの中で最も侵襲的なスパイウェアである可能性が高い

  • Facebook、Twitter、Instagram、SMS など複数のソーシャルチャネルを通じて AI ツールと会話しているなら、そのチャットは当該企業の社員だけでなく、その企業のマーケティング担当者や外部協力会社も積極的に読んでいると考えるべき
    もちろん契約で縛られてはいるだろうが、人々がチャットボットに尋ねる内容には、健康情報、性的な情報、カウンセラーにしか話さないような非常に私的な内容まで含まれる。にもかかわらず、それが 22 歳のマーケティングインターンにも読まれ、暗号化されていない平文で、コピー/貼り付け可能で、ユーザー名/ID と紐づけられる可能性がある

  • Microsoft をまったく信用していないが、OpenAI や Google などがこうした行動をしていると聞いたときと同じく、驚きはしない
    だからといって正当化されるわけではない。今こそ、ユーザーが明示的かつ撤回可能な許可を与えた場合にのみチャット会話の閲覧を可能にするよう、全社がプライバシーに対する姿勢を変えるべき時だと思う

  • こういうツールを使う人は、自分のデータがすべて吸い上げられることを自ら望んでいるようなもの。これが心配なら、ローカルで動作する AIだけが使うに値する方法だ

  • AI はデータの上に作られる。より多く監視すれば AI の訓練用データをより多く得られ、より多く訓練すればより良くなり価値が高まり、より多くの人が使うようになって再びデータを提供する循環構造になる

  • 怒りを誘いやすいネタだ
    こうしたプラットフォームはどれも次のモデルを訓練するために入力をスクレイピングしている。ならば不正利用の検知もするだろうというのが、なぜ明白でないのか