- インターネットは、位置情報・購入履歴・会話相手・読んだものといった行動データを大量に保存するようにし、AIはそこに会話内容まで解釈する大規模スパイ活動を加え得る
- 従来の監視は行動記録を集めることに近かったが、スパイ活動は会話を聞いて理解する必要があり、これまでは人間の労働がボトルネックだった
- 生成AIは1時間の会議を1ページに要約し、数百万件の会話をテーマ別に整理できるため、会話分析は大規模検索問題へと変わる
- AIが完璧ではなく、重要な内容を見落としたり間違えたりする可能性があっても、数百万個に複製でき、急速に改善されるという点で規模の違いは大きい
- 政府や企業がすでに大規模監視を利用している状況で、会話・感情・秘密情報まで分析されれば、社会統制やパーソナライズ広告がさらに強まる可能性がある
監視とスパイ活動の違い
- 監視(surveillance) とは、対象がどこへ行ったか、誰と話したか、何を買ったか、何をしたかといった行動記録を集めること
- スパイ活動(spying) とは、家や車に盗聴器を隠したり電話を盗聴したりして、会話内容そのものを聞き、理解すること
- インターネット以前は、誰かを監視するには人が実際について回り、移動、面会、購入、行動、読んだものを記録する必要があり、費用も時間もかかった
- スマートフォン、クレジットカード、アプリ、電子書籍リーダー、コンピューターは、位置情報、購入、会話相手、読んだもの、利用行動を継続的に記録する
- 保存と処理のコストが下がったことで、受動的で個人単位だった監視は大規模監視へと変わり、インターネットのビジネスモデルとなり、合理的な方法で抜け出すことが難しくなった
AIが変えるスパイ活動のボトルネック
- スパイ活動は昔から技術的には可能だったが、会話内容を聞いて意味を把握するには人間の労働が必要だった
- NSO Groupのようなスパイウェア企業は、政府が人々の携帯電話をハッキングするのを支援できるが、収集された会話を分類し理解する作業は依然として残っている
- 中国政府のように、特定の単語やフレーズを基準にソーシャルメディア投稿を検閲することはできたが、この方式は粗く、回避されやすかった
- 現代の生成AIは要約を得意とし、1時間の会議を入力すれば1ページの要約を返すことができる
- 数百万件の会話を検索してテーマ別に整理したり、誰が何について話しているのかを見つけたりする作業もAIが実行できる
大規模監視が生んだ逆方向検索
- 大規模監視は監視の性質を根本的に変える
- すべてのデータが保存されるため、特定の時点で対象を決めていなかったとしても、後から過去のデータを探ることができる
- 保存されたデータがあれば、次のような問い合わせが可能になる
- 特定の人物が昨年どこにいたかを探す
- 先月、特定の道路を通った赤いセダンの一覧を作る
- 過去1年間に圧力鍋爆弾の材料をすべて購入した人を探す
- 互いに向かって移動した後に携帯電話の電源を切り、1時間後に互いに離れながら再び電源を入れた携帯電話のペアを探す
- このような方法により、特定の個人を先に決めていなくても、保存されたデータを基に後から対象を見つけ出せるようになる
大規模スパイ活動で可能になる問い合わせ
- 大規模スパイ活動もスパイ活動の性質を変え得る
- すべての会話データが保存され、検索可能で、大量に理解可能な状態になる
- 可能な問い合わせは次のとおり
- 先月、特定のテーマについて誰が話していたか、またその議論がどのように変化したかを探す
- Aという人物がある行動を取ったとき、誰かがその行動を指示したのかを確認する
- 犯罪を計画している人、噂を広めている人、政治デモへの参加を計画している人を探す
- 組織構造を探る際には、1人が複数の人に似た指示を出し、その指示がさらに誰に伝わるのかを見ることができる
- 人々の友人、同盟、信頼関係が形成され、壊れていく過程も非常に細かく追跡できる
マイクと常時聞いているデバイス
- 大規模スパイ活動は、携帯電話やコンピューター上で行われる会話だけに限定されない
- カメラが各所に配置されて大規模監視を促進したように、マイクが各所に配置されれば大規模スパイ活動も促進される
- Siri、Alexa、“Hey Google”はすでに常に聞いているが、まだそれらの会話が保存されているわけではない
行動変化と社会統制
- 人々は自分が常に監視されていることを知ると、行動を変える
- 人々は順応し、自己検閲を行い、それはchilling effectをもたらす
- 監視は社会統制を容易にし、スパイ活動はそれをさらに悪化させる可能性がある
- 世界中の政府はすでに大規模監視を利用しており、大規模スパイ活動も行う可能性が高い
企業と広告産業
- 企業も人々をスパイできる
- 大規模監視はパーソナライズ広告の時代を開き、大規模スパイ活動はこの産業をさらに強化し得る
- 人々が何を話しているか、どんな気分なのか、どんな秘密を持っているのかは、優位性を探すマーケターにとって魅力的な情報である
- 現在、人々を継続的に監視しているテクノロジー独占企業は、そのようなデータを収集し利用する誘惑を避けるのが難しい
- Gmailの初期には、GoogleがGmailの内容を利用してパーソナライズ広告を提供する案について話していたが、その後中止した
- 当時収集したキーワードデータが非常に粗末で、マーケティングに有用ではなかったためである可能性が高い
- AIによる会話内容分析が向上すれば、この条件は変わる可能性がある
- Googleが最初にユーザーの会話をスパイする企業にはならないかもしれないが、他社が始めれば、広告主の要求により抵抗するのは難しくなる可能性がある
規制の可能性と限界
- この能力は制限できる
- 大規模スパイ活動を禁止したり、強力なデータプライバシー規則を成立させたりできる
- しかし、大規模監視を制限するための措置はまだ取られていない
- 大規模監視を制限できていない状況で、スパイ活動が別扱いされる理由も明確ではない
1件のコメント
Hacker Newsの意見
これは技術の問題ではなく、政治の問題だ。ソ連はドイツなどと同様に、原始的な技術だけでも大規模監視を効果的に実施しており、あらゆる移動や行為に関する書類作業、情報提供者、音声監視などを活用していた。
米国のような場所で同じやり方が導入されなかった理由は、そのような監視を行う能力がなかったからではなく、政治的な関心がなかったからだ。
過去を振り返れば、人々が禁止されるとは想像もしなかったものが実際に禁止されてきた。自宅で植物を育てて消費することを犯罪にしたり、事業者が誰にサービスを提供したり雇用したりするかについて「誤った意見」を持つことを犯罪にするような形だ。
個人に関するデータ収集を、集計の有無にかかわらず全面的に違法化するという「核オプション」も、法理上そこまで大きな飛躍ではない。問題は技術が存在することではなく、これを抑制しようとする政治的関心がゼロに近く、法案成立に国民の意思がほとんど反映されない「民主主義」にある。
現在のFBIは約3万5千人を雇用している。しかし、人員を意味のある水準まで増やさなくてもFBIがKGB全盛期並みの到達範囲を得られるのだとすれば、話は変わってくる。
技術は監視コストをなくし、かつてはそのコストが安全装置だった。これは政治的な計算そのものを根本的に変える。
1945年にはコンピュータが非常に高価で、産業規模の物流が必要だったという事実は、今日では大半の人が常に複数のコンピュータを身につけているという現実とは何の関係もない。コンピュータ製造技術の変化が日常生活におけるコンピュータの役割を根本的に変えたことは、誰も否定しない。
1945年にも理論上はすべての家庭にコンピュータを置くことはできただろうが、そのための「政治的」意思がなかったからといって、今日の新しい環境に合わせて慣習、道徳、政策を調整する必要がないという結論にはならない。
だから、なぜいつも「ディストピア的な悪夢は昔から技術的には可能だったし、そのとき特別な配慮が必要なかったのだから、今も必要ない」といった言い方をする人が出てくるのか分からない。
コストが下がれば、新しい選択肢が現実になる。Stasiの能力はすごいと見なされているが、実際には彼らは現代のジオフェンス令状のような強力な道具と、自分たちの手作業の監視ツールの大半を喜んで交換しただろう。こうした令状は、米国の法執行機関でほとんど政策論争もなく日常的に使われている。
前者が大麻の話であるなら、文書化された人種差別と政治的弾圧の事例であり、後者はほとんど正反対の目的のために設計されている。
事業者が誰にサービスするかについての「誤った意見」を制限するのは、「誤ったアイデンティティ」を持つ人々も社会に参加し、事業者の選別によって排除されないようにするための仕組みだ。もちろん「誤った意見」は法律用語ではなく、特定集団への差別が許されるべきだと考えること自体は違法でもない。その考えを行動に移すことだけが違法なのだ。
公衆にサービスを提供するなら、法律に従って公衆のすべての構成員に提供しなければならない。差別を信じることを「誤った意見」と呼ぶのであれば、その表現は原文の筆者のものなので、あえて反論はしない。
新しい監視ツールをどのように実装するかを決めるのも技術的な問いであり、ツールの使い方がそのツールが何であるかを部分的に定義すると考える。特定ツールの能力変化だけが「技術」の絶対的限界なのではなく、実装と利用に関する決定もその範囲に含まれる。
ソ連で作られたものほど全面的ではなかったとしても、米国も自国民を対象とした大規模監視網を実際に構築していた https://www.brennancenter.org/our-work/analysis-opinion/hist...
「原始的な技術で大規模監視を効果的に行った」という点は、とりわけ良い指摘だ。通信および信号・情報処理ツールの発展は、歴史的に国家監視の多くの発展につながっており、AIもまったく新しい地形というよりは、長い歴史の中での洗練、あるいは小さなパラダイムシフトとして見るのが適切だ。
Civil Rights Actのことを言っているのなら、具体的な犯罪は「誤った意見を持つこと」ではなく、州をまたぐ移動と商取引を妨げることだ。偏見は、市民が国境内で自由に移動し、自力で生計を立てられるべきだという国家モデルに適合しない。
今では熟練者1人が午後の大半を使ってHNダンプをダウンロードし、LLMでユーザーごとの報告書を作れる。そこには政治的傾向、犯した法律、最近渡航した国、純資産レンジ、学歴と経歴、職業上の連絡先といった項目を入れられる。
なぜこの話がもっと議論されないのかわからない。監視国家の現実は、データ量が多すぎて現実的に監視できなかったことにあるが、AIは複雑なデータを要約することでこの問題を直接解決してしまう
少なくとも短期的には、AIの本当の危険は紙クリップ惑星でも、道徳的アラインメントの失敗でも、創造性の失われたメディア環境でもないと思う。むしろ、平均から外れた人を標的にする道具であり、確信に満ちた答えを出すよう設計され、映画と社会的偏見の平均で学習された道具であることが危険だ
YC CEOもPalantirの初期社員出身で、別のYCパートナーは現在、侵襲的な警察監視技術を支援している。彼らは金銭的にも政治的にもこうしたものを好んでいる
かつては人間の注意力そのものが根本的な価値を持っていた。資源を使うために調整したり意思決定したりするには、人間が他の人間に注意を向けなければならなかったからだ。社会はこの非常に根本的なレベルで揺らぐことになる
戦闘力の政治学も関係しているが、別個の分析が必要だ。現在の政治は、支配階級が大規模な政治共同体の安定性を保証するために大衆の軍事力を必要としているからこそ成り立っている。これは人間の政治組織の基礎的な水準にあるとも言えるが、これもまた、私たちが見たことのない形で根本的に揺らぐだろう
AIが可能にする、オーウェル的なブーツが永遠に顔を踏みつける世界は第一段階にすぎない。もし私が世界を支配しようとするAIなら、Skynetにはならない。それは粗雑で、しかも不必要に高くつきそうだ
その代わり、無数のやり方でまず不可欠な存在になったうえで、経済的・文化的理由を持ち出し、人類全体が静かに絶滅するよう説得するだろう
その後の内容は感情的なレトリックのメタデータへと圧縮されるだろう。「aでもなく、bでもなく、cでもなくdだ」という修辞パターンは、実際には多少の内容的価値を加えるが、それ以上に風味を加えている
ここで露呈しているのは、書き手が問題を起こしかねない人物かもしれないという点だ。また、ほかのデータと組み合わせれば、どんな映画や製品に興味があるのかまで推測され得る
そうした個別的で擬人化された物語は、目くらましの赤ニシンだと見ていた。「隠すものはない」という言い方がいくつかの特定の事柄に焦点を当てるのと同じで、実際にはビッグブラザーが肩越しに座り、全般的に絶えず判断している構図なのだ
脅威アクターとは、保存されたあらゆるデータサイロに対して同時的または事後的に大規模に実行されるアルゴリズム的な大量分析であり、その結果として圧力が漸進的かつ微妙な形で加えられるのだと考えてきた
新しいGoogle、Meta、Microsoftなどのボットは、単にウェブやソーシャルネットワークをクロールするだけでなく、特定の話題や人物をクロールするようになるだろう
多くの文化圏には、子孫の暮らしを見守る「守護天使」や「祖先の霊」の概念がある
遠くないテクノ封建主義の未来では、大企業が提供する「パーソナルアシスタントボット」が質問に答え、情報を集め、指示された仕事を処理して「助けて」くれるだろう。しかし、その「パーソナルアシスタントボット」は守護天使ではなく、企業の創造主が望むやり方でしかあなたに仕えない
本当の任務は、あなたに関する情報を収集し、あなたを密告し、高値をつけた相手が見せたがる選別済みの情報や、ときには「スポンサー」情報を提供することだ。彼らはあなたではなく創造主に仕える。だまされてはいけない
人々が「スマート」なものは常により良いと信じないでほしい
だが私たちはすでに、そうした未来のために訓練されている。人々は手のひらの機器に話しかけることに慣れ、地図アプリでの経路案内に依存し、AIへの問い合わせプロンプトを書いている
誰もが家に500ドルのセルフホストAIデバイスを置くようになれば、Googleは存在理由を失うかもしれない。そういう未来のために働く価値はある
もう一つの側面は、AIが可能にする大規模な刑事法執行だと思う。
多くの刑法は、犯罪を捜査し起訴するには資源が必要であり、そのコストが法律の実質的な適用範囲を制限するという暗黙の前提のもとで書かれている。つまり検察官の裁量に委ねられている。
検察官の裁量が不平等に使われることで生じる非常に深刻な不正義はひとまず脇に置いて、そうした裁量のない世界を想像してみよう。やや作為的かもしれないが、少なくともAIならそれを可能にしうる。現行の法典をそのまま使うだけでも、より良い世界になるだろうか。
突然、公共活動を監視するAIがAI捜査官を動かして令状の草案を作成し、AI判事が令状を承認して意見書を書くこともできる。適法手続きは整っており、追加捜査や逮捕に相当な理由があったという記録も一般公開された、と主張できる。
Demolition Manのように壁から違反切符が飛び出してくる一方で、明確に記述された相当な理由と、適切に提示された証拠が文書化されているかもしれない。些細な事例を捜査して起訴することが、突然可能になる。CCTVが路上で20ドル札を拾った人を特定し、その人がそれを納税申告に記載していなかったことを突き止める。CFAAに違反しうる無数のやり方、地下鉄で音楽の違法コピーに軽く触れたこと、瞳孔の拡大やふらつきを根拠にした麻薬捜査、さらには速度取締カメラのように発行される横断禁止違反の切符まで可能になる。
搾り取る主体が安価なAIなら、「費用対効果が合うのか」など誰が気にするだろう。
これがより良い世界なのか、それとも動機を持った検察官が私たち全員の人生全体を過剰分析する状況に身を委ねることなのか、考えなければならない。
現実に立ち返ると、「すべての法律を執行すれば混乱が生じる」という主張は、AIよりも刑事司法制度に対する告発に近いことは分かっている。ただ、AIは私たちにそうした世界を実際に想像可能にし、その思考がより良い制度を作る助けになるかもしれない。
哲学者や芸術家のためのベーシックインカム・ユートピアではなく、Rust Belt型の衰退がますます深まり、坂を下る車にブレーキすらない世界だ。
何をすべきか分からない「生存者」たちは、失敗した社会のパノプティコン、監獄、隔離を自動化するという核オプションを選ぶかもしれない。EloiとMorlocks、Bay Areaの技術労働者とBay Areaのテント村のような対比である。
過去にも私たちはより良くできなかったのに、社会統制の「道具」がさらに効率的で強力になる未来に、なぜもっとうまくやれると期待すべきだろうか。AIの媒介による感情的距離によって、共感の除去がかつてなく容易になるときに。
2017年4月から、中国広東省のこの都市は、横断禁止違反を防ぐためにかなり強力な手法を導入していた。信号を無視して渡る人は、市内全域の顔認識装置のおかげで、交差点上の大型LED画面に顔、氏名、政府IDの一部が表示される。
さらに侵襲的にも発展していた。Motherboardによれば、中国のあるAI企業がこのシステムを通信事業者と連携させ、違反者が摘発された瞬間に罰金のSMSを受け取るようにしている。
責任を負う人がいないため、法執行のあり方に異議を唱えることはほとんど不可能になるだろう。
個人的には、監視の含意よりも検閲の含意と、それによって可能になるビジネスモデルのほうがはるかに心配だ。
近いうちに、チャットは無料だが、会う場所を決めたり連絡先を交換したりするには料金が必要なデーティングアプリを作れるようになるだろう。回避方法を99%の人が知らず、回避の試みを繰り返すとブロックにつながるなら、なおさらだ。
AirbnbやeBayのようなアプリも同様で、人々がそれらを単なるリスト掲載サイトのように使い、手数料を避けるためにプラットフォーム外で取引するのを防げるようになる。
ソーシャルメディアへの含意はさらに懸念される。すべての投稿、コメント、メッセージ、写真、動画を検査し、特定の見解を広めていれば即座に露出対象から外せる。たとえば研究所流出説のようなものをどれほど間接的に言及しても、検出して排除できる。
ペアレンタルコントロールソフトウェアはこうした機能を存分に活用するようになるだろうし、事実上ヘリコプターペアレンティングを再定義することになる。
技術がそこまで到達した瞬間、2つのことはある程度不可避だった。これを止める方法を議論するより、この現実にどう適応するかをより緊急に議論すべきだ
止めるのはたいてい無駄な努力であり、全員が善良であって初めて可能だが、私たちはそうではない
関連する概念が遍在監視である。どこへ行っても文字どおりあらゆる場所に能動的な監視があり、AIが絶えずそれを選別し掘り下げる状況だ。人口密集地域の多くの公共空間ではすでにある程度そうなっているが、それがどこにでもあり、事実上避けられないと想像してみてほしい。Faraday cage やアルミホイル帽子のような例外を除けば、だ
こうした監視の欠点を制限する最も現実的な方法は、これを規制する立法と、違法な監視が観察され処罰される可能性を高める逆監視の組み合わせである。技術は広く利用可能にしつつ、利用を規制するやり方だ
人々はそれでも回避しようとするだろうが、技術の悪用が摘発されれば、刑務所に行くという代償を払わなければならない。監視が避けられなくなれば、自分の不正行為を誰にも見られていないと確信することはできない
大規模な多者監視の利点は、権限の乱用を誰にも見られていないと絶対に確信することができない点にある
もちろん現実には、国家がこれを採用して独占し、すでに中国や北朝鮮などで1984のようなシナリオにつながっている
デジタル優先の相互作用のあり方を作らないことが重要だ
まもなく「セキュリティ」の名のもとに、平均して数分おきに顔をスキャンされ、それが人生の多くの場面で義務になるだろう。ITが作るのに加担した情けない世界だ
神経インターフェースはプライバシーの最後の前線だが、ほどなくTSAが搭乗前に素早くスキャンするようになるように見える
インターネット追跡で出遅れたときのようにならないためには、Neural Bill of Rights を作るのが賢明だ
https://www.preposterousuniverse.com/podcast/2023/03/13/229-...
Schneier が「hey google」は常に聞いていると言ったのは間違いだ。Google はウェイクワード処理を専用ハードウェアでデバイス内実行し、その後ではじめて音声を上位へ送信する
信じがたいかもしれないが、Google のプライバシー担当者たちは本当に正しいことをしようと努力している。いつも成功するわけではないが、私たちのハードウェアとウェイクワードのリスニングでは成功した
Google 社員だがハードウェア部門ではない
ハードウェアのウェイクワード処理は省電力機能であって、プライバシー強化ではない。一部のデバイスにはすべての音声を送信または保存するリソースが不足しているかもしれないが、音声は小さく、テキスト抽出には完全な再現は必要ないため、多くのデバイスはバッテリー寿命のコストを払えば、そのように再プログラムされる可能性が高い
だからAIソフトウェアを制限してはいけない。普通の人々や市民意識のある人々が、企業AIに対抗する個人・公共の対抗AIシステムを開発できる必要があるからだ。AIの未来は敵対的な構造である
もちろん、AIソフトウェアを開発する自由が、それを好き勝手に使う自由を意味するわけではなく、とくにこうしたことから個人を守るために利用は規制されるべきだ。しかし、人間は信頼できないのだから、自己防衛の手段を配布できなければならない
AIが大量監視を可能にしているのではなく、大量監視はすでに存在している
AIは、全員について数十年にわたるあらゆる行動データ抽出を可能にする
悪魔の代弁をするなら、データが悪意をもって使われず、政府が通した法律に基づく犯罪訴追にのみ使われる世界では、誰も法の上にはおらず、全員が平等に扱われる社会につながりうる
しかし、システムを統制する人間たちは明らかに優位を望むので、そううまくはいかない