Google Gemini AI、Google DriveのPDFを無断でスキャンしたとの論争
(tomshardware.com)- Kevin Bankstonは、Google Drive/Docsで個人文書を開いたところ、Geminiが要求なしに要約したと主張し、Workspace AI機能のデフォルト動作とユーザー同意の範囲が論争になっている
- この出来事はBankstonの税務申告書PDFの事例から始まり、その後、問題の焦点はGoogle Docs自体よりもGoogle Driveで開かれたファイルの動作へと絞られた
- 関連設定を確認しても、Gmail、Drive、DocsのGemini要約トグルはすでにオフになっており、Geminiが案内した設定場所も実際とは異なっていたため、ユーザーが制御状態を把握しにくかった
- Bankstonは、Driveである文書のGeminiボタンを押した後、同じファイル形式の文書を開くとGeminiが自動実行されるように見えると観察した
- Googleは、Workspaceデータは学習に使われず保存もされないと反論したが、DriveのGeminiサイドパネルの状態と要約設定の関係は、ユーザーが直接確認しなければならない論点として残った
個人文書から始まったGemini自動要約論争
- Kevin Bankstonは、Google Docsで自分の税務申告書を開いたところ、Geminiが要求なしに要約したとXに投稿した
- 彼は、GeminiがGoogle Docsで開かれた個人文書を自動処理しているのではないかと問題提起し、ユーザーが知らない設定を探してオフにしなければならない状況を懸念した
- その後の文脈では、Google Docs自体よりもGoogle Drive内で開かれた文書に近い問題として整理された
- 文書タイプはPDFだった
- Docsにも適用される可能性があるように見える点は残っている
オフになっていた要約トグルと食い違う設定案内
- Bankstonは、Geminiが案内したプライバシー設定を探そうとしたが、実際の場所ではその設定を見つけられなかったという
- その後、関連トグルを確認したが、Gemini summaries in Gmail, Drive, and Docsはすでに無効化されていた
- 設定場所も、Geminiボットが最初に案内した2つのWebページとは異なっていた
- この経験により、機密性の高い個人情報に対するユーザー制御の不足への懸念が強まった
Driveで観察されたファイル形式別の自動実行パターン
- Bankstonに起きた問題は、Google Driveに限定されているように見える
- 少なくとも1つの文書でGeminiボタンを押した後、同じファイル形式の文書を開くと、その後はGeminiが自動的に実行される形で観察された
- 事例のファイル形式はPDF
- その後、Google Driveで開く同形式のファイルが自動トリガーの対象になる
- Bankstonは、2023年に有効化したGoogle Workspace Labsが意図されたGemini AI設定を上書きした可能性も提起した
Googleの反論とデータ保護の説明
- Googleの広報担当者は、生成AI機能はユーザーの選択権とデータ制御を提供するよう設計されていると説明した
- Gemini in Google Workspaceの利用には、ユーザーによる事前の有効化が必要だというのがGoogleの立場だ
- ユーザーが有効化した場合、コンテンツはプロンプトに対する有用な応答を生成するためにプライバシーに配慮した形で使われ、許可なく別途保存されることはないという
- GoogleはWorkspaceデータ保護に関するブログ記事を通じて、Workspaceデータは収集されたり学習に使用されたりしないと説明している
- 機能がオンになっていれば、開いた文書の内容を要約できるが、その内容は保存されないとも付け加えた
サイドパネルという対処法と残るユーザー確認の負担
- Googleは、BankstonがDriveのGeminiサイドパネルを使っていた可能性があり、パネルを閉じれば問題が解決する可能性があると提案した
- Bankstonの経験では、関連する要約設定はすでにオフになっていたため、ユーザーが期待する無効化状態と実際の動作の間には差が残っている
- Google Driveに保存された機密文書を開く際には、Gemini機能の有効化状態、サイドパネルの状態、ファイル形式ごとの動作をユーザーが直接確認しなければならない状況だ
1件のコメント
Hacker Newsの意見
クラウド事業者にアップロードしたデータは、結局のところ自分の所有物のようには管理できないという点をあらためて示している
今回は明確なシグナルがあったが、Googleのシステムはかなり前から非公開文書内のデータを読んで集計していたのだと思う
この懸念は20年前にGmailが始まったころから出ており、当時は「Googleが広告を表示するためにメールを読む」という考えに人々は驚いたが、1GBの受信トレイと新しいUIにはかなり説得力があった
その後、Google Driveなどでは、より怖く見えない、あるいは露骨に見えないように学んだのだろうし、企業顧客の資金が欲しかったことも理由だったはずだ
そうでなければ文書検索をどう提供するのかと思う
転送中も保存時も暗号化されるためだ
Appleも今では大半のデータを転送中・保存時に暗号化しており、どのデータが保護されるかも文書化している
ただし、将来のAppleが公開モデルの学習に自分のデータを使いたがるかどうかは確信が持てない
Appleの事前学習済み中核大規模言語モデルに、ローカル学習ベースの交換可能な微調整レイヤーを付ける設計は、プライバシー面では悪くなさそうに見えるが、実際のところはよく分からない
Google DriveはColab ProといくつかのサードパーティにDriveへのアクセス権を与えていたので、あまり信頼していないほうで、この記事が事実なら信頼はさらに下がる
初期のGmailとの比喩は適切だ
Gmailが公開される3年前にPeter Norvigから非公開招待を受けて使っており、当時はGmailの横に出る関連性の高い広告が気に入っていた
さらに、Workplaceのような環境に統合された大規模言語モデルの有用性を試したくて、Google AI Plusか何かの月額20ドルのサービスにも自分のGoogle資産全体へのアクセス権を与えた
結局、Googleサービス上でのプライバシーを自発的に差し出したようなものだ
しかし、全員の非公開データが収集されて大規模言語モデルに入れられたと示唆しているのなら、それは明らかに陰謀論だ
Googleが何万人ものエンジニアを説得し、全員の非公開データを悪用する巨大な陰謀をひそかに隠し通させたと信じるのは驚きだ
その後Androidは捨てたが、Gmailをやめるのはもっと難しい
すべてのAIは、学習もスキャンも明示的な同意であるべきだ
「AI機能を使いたいです」というチェックボックスをユーザー自身が選択する必要があり、その意味を説明する文言も非常に明確でなければならない
これは義務化・強制されるべきで、守らない企業には厳しい罰金が伴うべきだ
文字どおり自分のデータにアルゴリズムを走らせ、その結果を自分に見せているだけだ
根本的にはスペルチェックや、見出しスタイルから目次を自動生成することと変わらない
結果が自分だけに非公開で保たれるなら、この場合もそうだし、何が心配なのか分からない
アルゴリズムが大規模言語モデルベースであるという事実は、プライバシーやセキュリティとは関係ない
ユーザーは顧客ではなく商品だ
ソーシャルメディア企業に広告販売用のデータを作ってやる代わりに、今度はAI学習用のデータを作り、その見返りにサービスを無料で使う構図だ
学習目的ではなく、文書を一時的に読んで要約を提供することを指しているようだが、それがなぜ規制対象であるべきなのか分からない
ai.txtという初期の試みがあったと記憶しているが、まだ誰が従っているのかはよく分からない
この記事が明らかに誤解を招く書き方をしている点はさておき、記事で言及されているツイートスレッドで共有されたリンクを整理する
Geminiアクティビティ管理: https://myactivity.google.com/product/gemini
Google Workspaceと複数のGoogleアプリのオプトアウトに関する回答の大半があるページ: https://support.google.com/docs/answer/13447104#:~:text=Turn...
タイトルがこの件を少し分かりにくくしている
Geminiに文書を要約してほしいと頼めば、要約するのは驚くことではない
ここで「スキャン」という表現が過剰な役割を果たしており、タイトルはGoogleが非公開文書でGeminiを学習させているかのように示唆している
実際の争点は、ユーザーが明示的にオフにしたと思っていた状態で、非公開文書を入力としてGeminiが実行され、要約したという点だ
それでも設定が守られなかったことはGoogleインフラにおける意味のあるバグであり、新世代AIの利用そのものに完全に反対する人なら、脱出戦略を点検したくなるだろう
しかし、一度PDFを1つ要約してほしいと頼んだからといって、DriveにあるすべてのPDFをGeminiが要約するなら、それは驚くべきことだ
タイトルが誤解を招くのではないかと思う
学習やテストのためにスキャンしたという内容だと思ったが、ユーザーが見ている文章を要約する機能だった
だから「caught」という表現は不誠実だ
やっていると知らせていたことを実際にしている最中の人を「捕まえた」とは言わない
タイトルは正しい
誰かがGoogleのモデルから価値ある何かを引き出すのは時間の問題だ
銀行のパスワードや暗号資産の鍵のようなものかもしれない
接着剤ピザ事件は、彼らがとにかく雑に押し通していることを示している
コロナ禍に保健データをめぐって起きた争奪戦と似ている。
複数の集団が危機を利用して、データを一度チューブの外へ絞り出そうとし、その一部は成功した。
非難されるコストは低く、データを手に入れる価値は大きいからだ。
本質的には官僚的な抜き打ち強行だ。
プライバシー分野で働いたことがある人にとっては失望するが予測可能なことで、ほとんどの人は驚いたふりをして、そのまま流してしまう。
キャリアが、ばかげた「善意」の物語を維持し続けられる能力にかかっているからだ。
次はAT&TからハッキングされたSMSメッセージである可能性が高く、携帯電話のキー入力が漏えいしたり、商用プラットフォームのOSアップデートでモデル学習用の収集エージェントが追加されたりしても、皆同じように驚くだろう。
もちろん、ユーザー満足のためのプライバシー強化という包装も付くだろう。
この件を作ったプロダクトマネージャーとエンジニアを見せしめにしなければ、次はさらに悪く、さらに大きな規模で繰り返されるだろう。
元のツイートとこの記事は、用語を意図的に誤解させるように混ぜている。
大規模言語モデルが何らかの形で文書に触れることと、その文書がモデルの学習データセットに含まれることを、同じことのように見せようとしているのだ。
これが記事と元ツイートの釣りポイントだが、ツイートスレッドは結局その違いを認めたうえで、AI機能の存在自体に怒る方向へ舵を切っている。
この話には、AIポップアップに腹を立てたTwitterユーザーが怒りを誘うスレッドを書き、はるかに陰湿な出来事であるかのように装った、ということ以外に実質的な内容はない。
特にHNでさえ、実際に何が起きているのかについて、これほど多くの人がうまくミスリードされているのは驚きだ。
記事を読んでから投稿する人はまだいるのだろうかと思ってしまう。
Googleがプライバシーとデータアクセスに関して十分に踏み込まなかったことは、驚くようなことなのだろうか。
口では言うが、自社サービスがデータにアクセスできなくなるところまでは決して行かない。
リモートに保存されるすべてのデータは、サーバーが復号できず、私たちの端末上でのみ復号される地点まで行くべきだ。
そうでなければ、会社が望むだけデータを採掘することを許すのと同じで、彼らが何をしているのかを私たちが知る方法はまったくない。
もちろん、本当に復号できないと信じなければならないという問題は残り、それに対する良い解決策はない。
個人データへのAIアクセスは端末内で処理されるべきであり、サーバー処理が必要なら、それが短期的な問題であることを願いつつも、データが端末の外へ送信されることを明確に案内すべきだ。
今すぐモデル学習に使われていないとしても、Geminiや何らかのリモートサーバーを経由したデータがログとして残り、後で追加学習に使われたり、平文ログの中に置かれたり、テスターが見られたりすると考えるのは不合理ではない。
最後には会社が「私たちを信じてください」と言う構造になり、会社というものがこの種のことを任せるには信頼できないことは極めて明らかだ。