人工知能の信頼危機
(simonwillison.net)- Dropboxの新しいAI機能をめぐる論争は、預けた個人ファイルがOpenAIの学習に使われる可能性があるという不安によって拡大し、Dropboxはこれを強く否定している
- 機能はオンデマンド要約と**検索拡張生成(RAG)**ベースの「データとチャット」だが、AIプライバシーに関しては大まかな説明だけでは信頼を得にくい
- デフォルトで有効になっているように見えたAIトグルと、「同意なしに学習に使わない」という原則の文言が重なり、ユーザーが同意の範囲を混同する余地が生まれた
- OpenAIが「APIに送信されたデータは学習に使わない」としても、それを信じないユーザーは多く、これはFacebookのマイク盗聴広告を信じる構図に近い不信を生んでいる
- AI企業は学習データと処理方法についての透明な説明によって信頼を回復する必要があり、ローカルモデルはプライバシー懸念の中でより魅力的な代替手段になりつつある
Dropbox AI機能論争の核心
- Dropboxが新しいAI機能を追加した後、個人ファイルがOpenAIに送られ、モデル学習に使われる可能性があるという批判が強まった
- 核心的な懸念は、Dropboxに保存された私的ファイルがOpenAIの学習データとして使われるのかという点で、Dropboxはこれを強く否定している
- 機能はオンデマンド要約や「データとチャット」のような**検索拡張生成(RAG)**方式で構成されている
- 個人データを多く保管するサービスでは、AIプライバシーの説明が少しでも曖昧だと信頼を失いやすい
同意と設定文言が生んだ混乱
- DropboxのAI principlesには、顧客の信頼とデータプライバシーを基盤とし、同意なしに顧客データをAIモデル学習に使用しないという文言がある
- アカウント設定にはAI関連のトグルがあり、自分で有効にした覚えのないアカウントでも有効状態に見えた
- 記事公開から約4時間の間に、その設定リンクは動作しなくなった
- このトグルがモデル学習への同意を意味するのかは明確ではない
- 「同意」という言葉は、利用規約を読まずに受け入れる現実と結びつくと非常に曖昧になる
- 多くのユーザーは、Dropboxに保護を任せた個人データがOpenAIの学習プロセスへ流れ込むと受け取った
OpenAIを信じないユーザーたち
- Dropboxの設定文言では、サードパーティーパートナーであるOpenAIについて「データは内部モデルの学習に決して使用されず、サードパーティーのサーバーから30日以内に削除される」と案内している
- しかし多くのユーザーは、OpenAIがデータを学習に使わないという説明を信じていない
- 論争はDropboxの設定問題を超えて、AI全般の信頼危機へとつながっている
- 「OpenAIは目に入るあらゆるデータを学習に使う」という認識は、「Facebookがスマートフォンのマイクで会話を盗み聞きして広告を表示する」という信念に近い位置にある
Facebookのマイク盗聴陰謀論との比較
- Facebookがスマートフォンのマイクでユーザーの会話を盗み聞きし、広告を表示しているという説は以前から存在する
- 技術的には、これを否定する根拠がいくつもある
- モバイルOSは、アプリが気づかれずにマイクへアクセスすることを許可していない
- プライバシー研究者は、端末とFacebookの間の通信を監査して実際の挙動を確認できる
- 大規模な高品質音声認識を常時実行するのは非常にコストが高い
- 非技術的な反論もある
- Facebookはこれを否定しており、嘘が発覚した場合の評判リスクは非常に大きい
- あまりに多くの人が関与する必要があるため、内部告発なしに続けるのは難しい
- Facebookはマイク盗聴をしなくても、はるかに安価で効果的な広告ターゲティング手法をすでに持っている
- 何千もの広告を見ていれば、たまたま今話した内容と一致する事例が生まれることもある
- ユーザーが実際に話した直後に関連広告を見たと感じると、こうした反論は説得力を失う
- Reply Allの2017年11月のエピソード「109 Is Facebook Spying on You?」は、Facebookがマイクで盗聴していないと結論づけたが、すでに信じている人を説得するのは難しい
AIではブラックボックス性が不信を強める
- Facebookの事例では、ユーザーは個人的経験を根拠に何が起きているのかを知っていると信じる
- AIではほぼ逆の状況だ
- モデルはブラックボックスに近く、秘密裏に構築される
- どの学習データが使われたのか把握しにくい
- 学習データがモデルにどう影響したのかも理解しにくい
- ユーザーは根拠よりも雰囲気や感覚に頼りがちになり、現在のAIを取り巻く空気は良くない
なぜ信頼危機が重要なのか
- 企業がプライバシーの取り扱いについて虚偽を述べているという疑いは非常に深刻だ
- 大企業がデータ処理の方法について露骨に嘘をついても何の結果もなく見過ごされる社会は健全ではない
- 政府の重要な役割の一つは、こうした事態を防ぐことにある
- OpenAIが学習しないと述べたデータで学習していたなら、規制当局の前に立つか訴訟を受けるべきだ
- Facebookがスマートフォンのマイクで監視していたなら、同様に規制と訴訟の対象になるべきだ
- 根拠のない陰謀論を事実だと信じると、実際の企業による違法行為に対する社会的な不寛容も弱まりうる
- プライバシーは重要だが、誤解されやすい
- 人々は企業がしていることや可能なことを過大評価したり過小評価したりする
- AI技術は可能な範囲を急速に変えており、この分野に詳しい人にとっても理解が難しい
OpenAIとAI研究所ができること
- 大規模なAI研究所は学習方法をより明確に公開できる
- 核心的な問いは、OpenAIが何を学習データとして使っているのかということだ
- 現時点では答えは分からず、全体のプロセスは非常に不透明だ
- このような状況では、OpenAIが「API経由で送信されたデータは学習に使わない」と言っても、人々が信じるのは難しい
- ChatGPT自体はさらに複雑だ
- OpenAIはChatGPTでのやり取りをモデル改善に利用している
- 有料顧客も例外ではなく、例外は問い合わせベース価格のChatGPT Enterpriseのみだ
- ユーザーが非公開文書をChatGPTに貼り付けて要約を依頼したとき、次のモデル更新後にその文書の一部が他のユーザーへ露出する可能性があるかどうかを判断するには、ChatGPTのデータがモデル改善にどう使われるのかについて、より多くの説明が必要だ
- 大規模プラットフォーム企業が障害後に公開ポストモーテムを出すように、AI企業も透明な説明によって信頼を回復できる
- Dan Luuは関連するポストモーテム事例リストをまとめている
ローカルモデルの機会
- この論争で繰り返し見られる流れは、ユーザーがクラウドホスティング型モデルよりも、自分の端末で動作するローカルモデルにデータを預けるほうが安心だと感じている点だ
- ローカルモデルは品質が着実に向上しており、サイズも小さくなっている
- Mixtral-8x7b-InstructはノートPCで実行可能で、初めてChatGPT 3.5と品質が近いと見なされたローカルモデルとして評価された
- MicrosoftのPhi-2は27億パラメータのモデルだ
- 有用なローカルモデルの多くは70億パラメータから始まる
- Phi-2は、より大きなモデルの一部と比較して最先端級の性能を主張している
- 学習コストは約35,000ドルと見られる
- ローカルモデルの可能性は大きいが、誤ったプライバシー懸念のために、より大規模で便利なホスティング型モデルの利点を失う状況は避けるべきだ
AIとプライバシー議論の条件
- AIとプライバシーの交差点は重要な問題だ
- 質の高い議論のためには、実際に何が起きているのかについての最大限の透明性と理解が必要だ
- 企業の言葉をすぐには信じない状況では、この議論はさらに難しくなる
- 企業はユーザーの信頼を得る必要があり、ユーザーがその理由を理解できるようにしなければならない
1件のコメント
Hacker News の意見
Webサイトのプライバシー保護において、同意とは何かについて、実行可能で法的に明確な定義が必要
ユーザーがデータの収集・処理・第三者への移転に積極的に同意しているように見せかけてはならず、実際にはすでにこっそり処理しておいて、後から同意を装うようなやり方は排除されるべき
誰かをだまして契約書に署名させたならその契約は詐欺だし、何かをする前に許可を取ると言っておきながら、以前の契約ですでに許可を得ていたと黙って主張するなら、それも詐欺
司法制度がいつここまで無力になったのかは分からないが、保護されていない市民のせいにはできない
必要なのは、法律を独占解体とニューディール時代の方向へ戻し、悪い影響力を粉砕してから再構築する能力
サポートに WTF メールを送ったが、おそらくアカウントを解約することになると思う。これを問題ないと感じさせるような回答があり得るとは想像できない
大企業があまりにも多くの権力と影響力を持っている
記事全体は良いが、「自分のスマホが自分を盗み聞きしている」と「OpenAI が自分のデータをどう使うかについて嘘をつく可能性がある」をたとえにしたのは、少し欠陥があるように見える
iPhone のマイクに第三者アプリがアクセスするには強いチェック機構があるが、自分のデータが平文で第三者に渡るときには、それに相当する仕組みがない。一般の人には両者が同じに見えるかもしれないが、前者の場合は依然として保護されている
この違いを指摘するのは重箱の隅をつつくように見えるかもしれないが、ユーザーのデータプライバシーと主権をめぐる戦いがすでに終わったかのように振る舞うのは、非常に逆効果だ。ある程度技術に詳しい冷笑的な人たちが、企業の新たな濫用を見るたびに「もう分かりきった話だ」と反応し、まるで Tails Linux を10年以上使っていなかったのなら、ホームディレクトリを圧縮して怪しげなテック企業やデータブローカーに全部送っても同じだ、とでも言うかのように振る舞うのをよく見る
こうした学習性無力感は信頼を損なうだけでなく、より良い世界は不可能だという印象を与える。Dropbox の件は、その思考様式が戻ってきた例のように見える。ユーザーの私的なファイルを、尋ねもせず第三者へ送るというニュアンスを漂わせても気にしないだろう、という狂気だ
ちなみに、ほとんどのデータはすでに Dropbox から抜き出してセルフホスティング側に移していたが、昨日の件がアカウントを完全に解約する決定打になった。ありがとう、Dropbox
Facebook の例では、人々は自分の個人的な証拠をもとに何が起きているのか理解していると信じる一方で、AI はほぼ正反対。AI モデルは奇妙なブラックボックスで、秘密裏に作られ、学習データが何だったのか、それがモデルにどう影響したのかを理解する方法がない
今の最大の脅威が自己満足や惰性であることには完全に同意する。人々が誤ったメンタルモデルを作り、「まあ、そういうものだ」と肩をすくめるようになると、実際の問題を改善するのが難しくなる
データとプライバシーを預ける相手にも、より良い選択とより悪い選択は確かにあるはずだが、誰がそういう相手なのか、広い意味で「信頼できる」場所が存在するのかさえ分からず、誰も信じられないという前提で動くことになる
もう少し冷笑的でなくありたいが、この10〜20年を見るとシニシズムは完全に正当化されているように見える。もしこの態度が間違っているなら、どう直せばいいのだろうか
マイクへのアプリのアクセスは OS が制御し、どのアプリがいつマイクを使えるのかをユーザーが確認できる OS 提供のツールがある
一方でクラウドデータへのアクセスは完全に「私を信じてくれ」方式であり、多くの企業がその信頼を濫用してきたことはすでに明らかになっている
Dropbox は使っているが、Dropbox に入れるものはすべて暗号化済みか、公開インターネットに漏れても構わないものだけ。セルフホスティングのソリューションをいじるのに多くの時間を費やしたが、ある時点以降は実質的なメリットが大きくないと判断し、時間とエネルギーを別のことに使うほうがよいと考えた
この記事は自分には少し無邪気で、「善意を前提にしよう」という感じが強い
AI の外側でこの10年間に何が起きたかを見ると、誰もが強迫的な収集家のようにデータを食い尽くしている。中核製品でデータを使う Google や Facebook だけでなく、ほとんど全員がそうだ。今日も、クリスマスに使っていたスウェーデンの伝統レシピのミニサイトが、自動再生動画やダークパターンの Cookie 同意バナーのようなものを追加しているのを見た
ほぼすべての新しいアプリやサイトがこの経済軸を中心に動いていて、大規模言語モデルが強力になり始めたころ、サードパーティ API が突然一斉に閉じられた
今の世代の AI は、ほかのプレイヤーがデータをこっそり夜食のようにつまみ食いする程度ではなく、血と脳に飢えた素早いゾンビのようなものだ。データが製品の中でより直接的な役割を果たすからでもあり、数十年ぶりのパラダイム転換の可能性に、テック系ベンチャーキャピタルの過熱した競争心理が目を覚ましたからでもある
あらゆる状況証拠は、ゾンビ・アポカリプスとゴールドラッシュ、つまり後で許しを請うやり方へ向かっている。だから誰もが、避けられない評判危機の前に安全性と責任の言説を強化しているのだと強く信じている。先に水を濁すための弾薬を積み上げているのだ
ところが技術者たちは、この10年を深く経験していなかったかのようにだらけていて、今回は AI が学界に根ざしているから、きらびやかな新会社だから、安全性の議論があるから、「現実的な」創業者たちの鋭い Twitter 投稿があるから違うはずだ、と考えている
裏で正確に何が起きているのか知ったかぶりをするつもりはないが、人々がどう動くかを知るくらいには長く見てきた。そして人々は良くなっていない
法的にはそれが現実なのかもしれないが、そうするとやはりテック業界の嫌な人間に見える
自分のデータで学習されること以外にもプライバシー上の懸念がある点を、この記事はあまりに軽く流している
私は仕事で扱う立場の人間で、顧客は情報がどこへ行くかについて秘密保持契約と規制の対象になっている。データ漏洩ポイントがどんどん増えるより、データがただサーバーにとどまるサービスを使いたい
そもそも、なぜ自分のデータが常に完全に暗号化されていて自分だけが見られる状態ではないのか、よく理解できない。なのに、自分の同意や関心なしに、別の会社が取り込んで処理するためインターネット越しに積極的に送っているという発想はぞっとする
自分で選んで有効にするときは AI 機能をよく使うが、会社が私の個人ファイルを同意なくインターネットのあちこちへ送るのは正気ではない
正直、OneDrive には移行ツールがあったので、Dropbox Business のトライアルを取得して昨夜ファイルを自動で全部移した。デスクトップインターフェースに余計なものやポップアップを入れ、私がずっと求めていたエンドツーエンド暗号化は提供しないという振る舞いの、最後の一滴だった
Dropbox Business から Office 365 OneDrive アカウントへ数クリックで移したいなら、ここにある: https://learn.microsoft.com/en-us/sharepointmigration/mm-dro...
準同型暗号が分散コンピューティングの解になるかもしれないが、現実になるにはまだ数年はかかる。その間は、脱クラウド、オンプレミスへの回帰、信頼できる集団内でのハイブリッドなプライベートクラウド協同組合のような形で進むべきだ
もう一つの理由は、個人や小さな会社からビッグデータ側へ流れる巨大な富の移転を防ぐことだ
全知全能の AI が世界を支配するという幻想が薄れ、より平凡な現実をよりよく理解できるようになるのは歓迎すべきことだ。AI は、すでに存在する途方もない権力の不均衡を加速するだけだ。私的なものは私的に守らなければならない
クラウド提供者があなたの最善の利益を最優先していると信じているなら、幸運を祈る。ここは Hacker News であり、信頼は当然与えられるものではなく、勝ち取られるべきものだと考える
エンドツーエンド暗号化ではないが、会社が暗号化されたデータを学習コーパスとして使うことは防げる。同僚や家族が作った共有フォルダやファイルは、暗号化を理解できるほど技術に詳しくないかもしれないということか？
顧客と秘密保持契約があるなら、エンドツーエンド暗号化のない Dropbox を使うべきではないし、OneDrive も同じだ
重要なのは、Dropbox の個人ファイルが OpenAI のモデル学習データに渡るかどうかを心配している、という点だけではない。
どのような用途であれ、自分が許可しない限り、自分のデータがどこにも送られてほしくない。
今回の場合は、OpenAI が私たちのファイルで学習するかどうかだけでなく、彼らが私たちのファイルを安全に扱えるのかも信じなければならない。学習しないという言葉が本当だと疑う理由はないが、それでも問題は残る。
しかし同時に、モデル出力に対して何らかのモニタリングを行う可能性もあり、特に個人ファイルに検索拡張生成（RAG）を使う場合、明らかな個人情報漏えいが起こり得る。
人々が細かい規約を完全に理解しているとは信じないのは、かなり合理的だ。おそらく実際には理解していないだろうし、AI 企業がはっきり示してきたことの一つは、クリエイターの許可の有無に関係なく、欲しい資料を望む方法で使ってよいと考えているという点だからだ。
第三者や第二者にデータを読まれたくないなら、クライアント側で エンドツーエンド暗号化 されているかを確認すべきだ。
これは Dropbox ではなく Syncthing を使うべきだという意味であり、Slack や Discord ではなく Signal を使うべきだという意味でもある。
特に、過去に文書化されたセキュリティ問題がいくつかあった。
記事のマイクへの信頼の話は、より明確にできる核心から注意をそらす 論点ずらし のように見える。
Facebook は文字どおり、アプリやインターネットからデータを取り込み、インターネット上の行動を追跡し、そのデータをあなたに関するモデルに入れている。このモデルは非常に正確なので、ときにはあなたが何を考えているのかをほとんど予測できる。だから一般の人は、マイクで盗み聞きしているのだと結論づける。
OpenAI のような大規模言語モデル企業とそのパートナーも、ほぼまったく同じモデルを使っている。あらゆる出所からデータをかき集めてモデルを改善し、あなたが彼らの望む場所をクリックし続ける可能性を高めて収益化している。
メカニズムについては技術的に間違っているが、プライバシーへの極端な侵害という点ではまさに正しい。その侵害がマイクではなく、正確なモデルという形でやって来るというのは技術的な細部にすぎず、最終的な効果は同じだ。
大きな大学の近くに住んでいるので、おそらく IP から推測しているのだろう。たまに Lexus や Jaguar の広告も出るが、それは問題ない。
Facebook がこっそり携帯電話のマイクで誰かを盗み聞きしているとは思わないが、「嘘がばれれば評判リスクが天文学的だ」という論拠にはまったく説得力がない。
私の知る米国の一般の非技術者の間では、Facebook の評判はすでにひどい。人々は、Facebook が2021年1月6日の反乱をあおることに寄与し、その後いかなる責任も回避しながら何も直さなかったことを見ている。
すでに多くの人が、おそらくやっているだろうと信じていることを実際にやっていたと明らかになっても、それによる評判の損傷はそれよりずっと小さいだろう。
OpenAIであれ他の大企業であれ、自分たちがやったこと、これからやること、あるいはやっていると言っていることを「信頼」はしていない。
それでも、OpenAIがユーザーの同意なしにDropboxのデータをモデル学習に使っているとは思っていない。
ただし、ここでの問題はそこではない。問題は転送中のデータだ。実際に読み取れる第三者へ送られるデータ、Dropboxが制御できない悪意ある従業員がいるかもしれない場所、ログに残ったり別のポリシーの適用を受けたりする場所へ行くデータが問題なのだ。
私がDropboxに非公開データを送るなら、Dropboxは「製品改善」を含め、どんな理由であっても、明示的で十分に説明された同意なしに誰にも送るべきではない。これがなぜ議論の余地になるのか分からない。
Dropboxが自前でモデルをホストし、同意したユーザーに検索拡張生成（RAG）検索を提供するなら、それは別の話だ。
Dropboxが事前に誰にも知らせず、全ユーザーのデータを第三者に送るなら、それはまったく別のことで、ひどい話だ。
学習はフェアユースか、そうでないかのどちらかだ。そして高成長のSilicon Valley企業が法律の精神をよく守ることで有名なわけではない。
さらにポリシーは、望めばいつでも更新できるとも書かれている。
プライバシーポリシーには法的拘束力すらない。米国にいてDropboxと契約を結んでいないなら権利はほとんどなく、自分にあると思っている権利を主張するには裁判所へ行く必要があるが、裁判所は実質的に金で勝つシステムで、相手は数十億の資産を持つ企業だ。
Dropboxがあなたの託した信頼を露骨に裏切るなら本当にひどいことだし、誰も二度とDropboxにデータを預けなくなるような、恐ろしい事業判断かもしれない。だが、ある日完全に悪に染まって、金を払う者なら誰にでもデータを渡し始めたとしても、あなたにできることはほとんどないと思う。
気にするデータは、ローカルバックアップと暗号化なしにクラウドへ入れるべきではない。そうすればクラウド提供者が何をしようと、誰に渡そうと心配する必要がなくなる。
むしろ、こうした機能を提供できないように私のデータを暗号化してほしい。データ復旧は望むが、このAI「機能」を提供できるという事実自体が、悪意ある内部従業員や第三者が私のデータへアクセスできないようにする努力をほとんどしていないという意味に見える。
金銭的な罰金は、漏えい1件ごと、関与した従業員ごとに非常に高額で、直接公開・共有した従業員個人にも責任が及ぶ。
だから、たとえ通知なしに非公開の第三者と文書を共有したとしても、「全部」ではないはずだと確信している。企業データはおそらく安全だろう。そうした契約は署名前に厳しく審査される。
AIの信頼危機だって？
ある会社の取締役会とCEOが、嘘や操作の疑惑で解任・交代させられたように見えたものの、何だったのか誰も明確に分かっていない出来事を見た後なら、なおさらではないか？
Dropboxがユーザーデータをスキャンして派生データを作れば、その「派生」データはもはや「ユーザーデータ」ではなくDropboxのデータとなり、共有できるようになる。統計的な性質だけで、個別ユーザーと直接関係がない場合もあるだろうが、それこそまさに学習データではないのか？もともとそう動くものではないのか？そうならAIモデルの学習に共有できるのではないか？
嘘ではなく言葉遊びだ。いや、それは非倫理的行動であり、大手テック企業の標準になった。
この争いに利害関係はない。AltmanにもOpenAIにも肩入れしない。そして、この素晴らしき新世界が私たちをどこへ連れて行くのかについてはかなり懸念している。行き先がどれほど魅力的でなくても、このメリーゴーラウンドから降りる信頼できる選択肢があるのかも分からない。
ここで描かれているDropboxの行動は、テック企業が信頼を壊してきた非常に長い行列の一つにすぎない。
筆者が挙げた例では、Dropboxはユーザーが文書要約のようなAI関連機能を明示的に実行するよう指示したときだけ、データをOpenAIに送っている。ところが反発は、証拠もなしに人々の文書を大量にスキャンしてアップロードしていると仮定しているように見える。
AI企業に非倫理的行動が明らかに存在するのは確かだ。個人的には、その割合が一般人口における非倫理的行動の基準率より高いのか低いのかは判断を保留する。いずれにせよ悪い行動を論じるなら、恐怖をあおるのではなく、引用可能な証拠のある具体例を使うべきだ。
AI企業を信じない人たちは、業種を問わず多くの企業、非営利団体、さらには政府機関に対しても似た感情を持っている可能性が高い。
誰に聞くかにもよるだろうが、AIベースの企業の範囲をはるかに超えた、より大きな信頼問題があるように見える。だから、この特定分野だけに自分たちへ向けられた不信と戦えというのは、四方八方から来る不信に対処しろという意味であり、これらの企業の範囲を超えた不可能な課題に見える。
この問題の答えが何なのか、そもそも実際の問題なのか、こうした全方位的な冷笑があらゆるものとあらゆる人へ広がると私たちがどこへ向かうのかも、よく分からない。もしかすると私たちは、ただ興味深い時代に生きるよう呪われているだけなのかもしれない。
私たちの業界全体は、信頼を信じられないほど濫用しており、近いうちに変わる兆しは見えない。