企業の権力がガバナンスを不安定化させる仕組みを示す新刊書
(hai.stanford.edu)- Marietje Schaakeの新刊 The Tech Coup は、民間テクノロジー企業がサイバーセキュリティ、治安、選挙、軍事防衛といった政府の領域に入り込み、民主的な法の支配が揺らぐ問題を扱う
- NSO Groupの Pegasus、Clearviewの顔認識、選挙テクノロジー企業、Starlink接続の判断のように、企業規模に関係なく、国家が独占していた能力や判断が民間へ移っている
- デジタル領域にも、医薬品・化学物質・食品・自動車・海外紛争の決定に適用される水準の 法的明確性、責任メカニズム、透明性が必要
- 政府が公共機能をテクノロジー企業に委ねるほど、企業も政府レベルの責任を負うべきであり、独立した技術専門家、公共責任の拡張、FOIAの実効性維持が重要になる
- データセンターのエネルギー・水使用、AI展開前の社会的影響評価、連邦データ保護法と子どものオンライン保護は、個人の選択だけでは解決しにくく、政治的監督と州レベルの規制が強まっている
テクノロジー企業が政府機能を担うときに生じるリスク
- The Tech Coup: How to Save Democracy from Silicon Valley は、Stanford HAI Policy Fellowの Marietje Schaake が、民間企業の 統制されない権力 を民主主義への脅威として論じる書籍
- テクノロジー企業は巨大な経済力だけでなく、これまで政府に委ねられていた役割まで担っている
- サイバーセキュリティ
- 治安に使われるシステム
- 選挙
- 軍事防衛政策
- 本書の事例は、Schaakeが2009年から2019年まで欧州議会議員として活動した経験と、Stanford’s Cyber Policy Center、Stanford HAI でテクノロジー文化を観察した経験に基づいている
国家権限が民間企業へ移る仕組み
- デジタル領域では、企業の 情報統制、行動権限、実行能力が政府の能力にほぼ匹敵するか、それを上回る状況が生まれている
- NSO Group Technologiesは、Pegasusスパイウェアによって人々のデバイスをハッキングできる能力を開発し、販売している
- Pegasusを購入できるだけの資金力があれば、情報機関レベルの機能にアクセスできる
- 政治的反対者、裁判官、記者、重要な職員、競合相手などの極めて私的な情報にアクセス可能
- 一部の企業は顧客やネットワークを防御する名目で国境を越えてハッカーを攻撃し、「offense as defense」という形の攻撃的サイバー能力を用いている
- この問題は大手テクノロジー企業だけに限られない
- NSO、Clearviewの顔認識ソフトウェア、選挙テクノロジーを提供する企業も同じ問題を示している
- Elon Muskがウクライナで誰がStarlinkインターネット接続を利用できるかを決めた事例も含まれる
- かつては国家の排他的領域だった能力や意思決定が民間企業へ流れている一方で、法治社会で期待される 抑制と均衡 は伴っていない
デジタル領域に必要な法・責任・専門性
- 民主的主体が再び責任を負うには、企業がガバナンス、民主主義、国際法に対して行使している権力をまず認識し、理解しなければならない
- デジタル領域にも、他のイノベーション分野で期待される水準の法的・制度的仕組みが必要
-
法的明確性
- 責任メカニズムと透明性措置をあわせて整備する必要がある
- 米国のウクライナ戦争対応は、物理世界とサイバー領域で違いを見せている
- NATOの一員として、米国は地上軍を投入したくないという立場を明確にしたが、サイバー領域では攻撃的活動が続いている
- こうした政治的不一致は、デジタル領域の法的グレーゾーンのために持続しうる
- 国際法、規制、執行は、技術が進んだ地点に追いつく必要があり、民主的な委任・責任・監督がデジタル活動でも実際に機能しなければならない
-
立法者のための独立した技術専門性
- 立法府には、法案起草を支える独立した法務チームのように、信頼できる情報を提供する 独立した技術専門家 が必要
- 技術的専門性が立法者に提供されれば、ロビイストの影響力を減らす助けになる
- 立法者は、技術が医療、教育、司法、住宅、交通に与える影響を理解する必要がある
- 技術はあらゆる分野に及ぶため、一つの委員会だけで扱うのは難しい
公共責任の拡張とアウトソーシングによる責任の空白
- 政府がテクノロジー企業により多くの手続きをアウトソーシングするほど、企業が政府の名の下で運営する機能には政府レベルの責任が伴うべきである
- Schaakeはこれを「public accountability extension」と呼ぶ
- 政府が中核的な公共機能をテクノロジー企業に渡しながら、責任まで手放している現状を改めるための仕組みである
- 多くの法域では警察は容疑者のデバイスを直接ハッキングできないが、ハッキング企業を雇うことで同じアクセスを得られる
- 警察は自分たちはハッキングしていないと言えるが、別の手段でアクセスを確保している
- 米国の州・地方政府は、機微な属性を基準に市民を差別できないが、利用する技術が実際にはそうした差別を行っていても責任を負わない場合がある
- FOIA請求でも責任の空白が生じる
- 記者は市民の名の下に、政府が何をしているのかを知る権利がある
- 政府が民間企業に政府業務や政府情報の収集・保存を委ねると、企業が公的機関に求められる基準で情報を保管しないことがある
- 企業が独占的な懸念を理由に情報提供を渋れば、FOIAの実効性 は弱まる
- 公共責任の拡張は、政府がテクノロジー企業を含む企業の陰に隠れて責任を回避する状況を対象としている
データセンター、AI、市民のアジェンダ
- データセンターのエネルギーと水の使用には、企業が使用量や予定使用量を報告しなければならない 標準や義務 がない
- 個別事例の推定値はあるが、データセンター全体のエネルギー使用量の総計は分かっていない
- 大手テクノロジー企業は、地域社会にデータセンターを建設しようとする際、Amazon、Google、Microsoftが背後にいる事実を隠すため、仮名会社を使って入札することがある
- 弁護士やコンサルタントは、地域社会にもたらされる経済的利益を強調する
- 企業の正体やデータセンターのエネルギー需要といった重要な情報が隠されることがある
- 希少資源の使用に関する透明性の欠如は、良いガバナンスを妨げる
- オランダでは、非常勤の市議会議員たちがハイパースケール・データセンターを認めるかどうかを決めなければならず、相手は数十億ドル規模の企業と弁護士、会計士、コンサルタント、PR会社だった
- プロジェクトの背後関係やエネルギー使用指標に関する透明性・報告要件を標準化すれば、より公正な公共討論の場が可能になる
- 透明性が高まっても、気候変動の時代に希少なエネルギー資源を使うデータセンターを社会が本当により望むのかは、別の問いとして残る
- コストが分からなければ、費用対便益の問いに答えるのは難しい
- 米国の主要な問題の一つは電力網の能力である
- オランダ、米国、英国のような先進経済でも、電力網がほぼ非常事態レベルの code red で運用されているという報告がある
- 電力網は限界まで引き伸ばされ、障害や停電がより頻繁になっている
- 数年前に承認された多くのデータセンターが2〜3年後に稼働し始めると、災害の波に直面する可能性がある
- EU法の 予防原則 は、新しいイノベーションが広く展開される前に社会的影響を評価するため、いったん立ち止まることを求めている
- AIのような技術革新には、当局はまだこれを適用していない
- AI利用への圧力と、別個にEU AI法が成立したことが背景にある
- AIモデルの振る舞いにエンジニア自身が驚いたり、社会・立法者・市民が特定のイノベーションの生活への影響を把握していなかったりするときに有用な概念である
- テクノロジー企業の権力による被害の兆候は、かなり前から世界中に存在していたが、米国人はそれを遠い場所の出来事と見なす傾向があった
- 2017年のミャンマーでは、Facebookがジェノサイドを扇動するために使われた
- 2018年にはCambridge Analyticaが数百万人分のFacebook利用者データを抽出・分析し、政治キャンペーンが心理プロファイリングに活用できるようにし、それが英国のBrexit投票に影響した可能性がある
- 2020年の米国議会議事堂襲撃は、ソーシャルメディア上の偽情報が一部で煽り、数千万人の米国人が選挙手続きへの信頼を失う結果につながった
- 消費者はテクノロジーやサービスをどう使うか選べるが、個々のインターネット・デバイス利用者とテクノロジー企業の間には大きな 権力の非対称性 がある
- 独立した監督と抑制の権力が必要であり、米国では連邦データ保護法、子どものオンライン保護、より良いサイバーセキュリティ、医療・選挙の偽情報に対処する手段への要求がある
- 議会にはそれを実行する政治的多数派がない
- 連邦政府ができない、あるいはしないため、多くの州がテクノロジー関連の法律や規制を進めている
1件のコメント
Hacker News の意見
問題はもっと根深い。ソフトウェアが財産権を完全に侵食したのであり、誰かが「テクノ封建主義」という言葉を作ったと記憶している。
企業がソフトウェアを所有し、農奴のような私たちはそれを賃借しているだけだ。
https://www.gnu.org/philosophy/not-ipr.html
「永久に所有し、他人には賃貸するだけ」というのは、物を作った側から見れば、弱い財産権などではまったくない。
https://www.schneier.com/essays/archives/2012/11/when_it_com...
私が土地を所有していれば、人々から入場料を取ることはできるが、だからといって自分の財産権を放棄しているわけではない。私たちはこれを財産権の「侵食」ではなく、むしろその逆だと見ている。
記事の主題とは少し直交するが、技術規制のより深い問題にもつながっている。
インターネットは全員をつなぎ、情報が自由に流れるようにするが、自由な情報の流れが人々の信頼をむしばんでいる。
私たちは表現の自由を望むが、人々は言葉でだまし、強要する。それを防ぐルールは作れず、人々は常に抜け道を見つける。
Ken Thompson は1984年に「Reflections on Trusting Trust」を書き、結論は、コンピューターに信頼の構築を任せることはできないというものだった。しかし社会で生きるには信頼が必要だ。
人を信じるのは人間の本能だが、オンラインでは虚偽が素早く広まり、何度もだまされると他人への自然な信頼を失ってしまう。これからどうすればよいのか気になる。
初期のインターネットはおおむねそうだった。BBS、Usenet、フォーラムのような場所だ。しかし現代のインターネットでは、ボットかもしれない任意の Google 検索サイトや TikTok アカウントを主に消費している。
FAANG は、より多くの利益のために、フォローを基盤とする仕組みをアルゴリズムフィードへ積極的に置き換えてきた。
信頼を失うと、取り戻すには10倍、時には100倍もの努力が必要になる。時には100倍を費やしても戻らない。
人生の基本的な法則だが、そうした法則がないふりをしても消えるわけではない。
根本的な問題は、伝統的に信頼されてきて、今も信頼されたいと思っている機関が、失った信頼を取り戻すための努力をしたがらないことにある。メディアと政府が思い浮かぶ。
代わりに、厚かましく信じてくれと求めることにエネルギーを浪費し、そうするほど溝はさらに広がる。侵害を受けた人々を責めながら、溝はさらに大きくなる。
その隙間に悪意ある勢力が入り込んだ。機関が「本物の信頼は勝ち取るものだ」と受け入れるまで、その勢力は繁栄し続けるだろう。
その時も知識の流通が急激に増え、虚偽やデマも一緒に増えたはずだ。社会はそれをどう処理したのだろうか。
つまり、既存組織が出していた内容を上書きするほど「真実」だと思える情報をウェブで見つけたことで、機関、専門家、公職者などへの信頼を失った。
ウェブのせいで信頼を失ったのは確かだが、それは実際の真実にアクセスできるようにし、多くの人がどれほど不誠実なのかを気づかせてくれたからだ。
例えば整備士が過大請求すれば、今では顧客がオンライン調査で暴くことができる。以前ならそのまま受け入れていただろうが、今では正当に疑われる。不誠実さはもともと存在しており、今はより簡単に発見されるだけだ。
記事自体はあまり良くない。著者が欧州では立派な経歴を持っているとしてもだ。
「立法府が裁判所での異議申し立てに耐える法案を作るために独立した法律チームに頼るように、信頼できる情報を提供する独立した技術専門家も必要だ…」というくだりは、米国の状況を十分に理解していないことを示している。
米国議会にはかつてOffice of Technology Assessmentがあったが、1995年に廃止された。「下院共和党議員たちは OTA を浪費的で、GOP の利益に敵対的だと位置付けた」。
一般的な問題は「技術」ではなく独占だ。米国の銀行や薬局も、主要プレイヤーが2〜3社に減っている。
Sherman Act を強力に執行すれば助けになるかもしれない。ただし AT&T の分割経験はそれほど心強いものではない。
https://en.wikipedia.org/wiki/Office_of_Technology_Assessmen...
「技術的専門知識を立法者に提供する」という言葉を読むと、政府の科学部門が研究している姿というより、独立コンサルタントがアルゴリズムを平易な英語で説明する場面が浮かぶ。
むしろその点は、ある政党に偏っていると主張するだけで気に入らない機関をなくせるのなら、二大政党的な「われわれ対彼ら」の構図こそが核心的な問題だということを示している。独占という言葉でそれを意味したのか気になる。
独占が問題だという点には同意するが、だからといって他の問題が消えるわけではない。技術的解決策は、民主的手続きで定められていない暗黙のルールを執行するようになり得るし、その影響は政府の決定と同じレベルで人々に及び得る。
個人的には、企業と政府が一緒になって人々を相手にしているのだと思う
政府は企業に圧力をかけ、政府が直接やってはならないことをやらせる。企業が協力を拒めば、分割すると脅す
AT&TがNSA専用の盗聴室を置いていたのには理由がある。DJIがウクライナにドローンを売らなければ、最大級の市場の一つで禁止すると脅すようなもの
読む価値はない。事実から出発して必然的な結論へ進む演繹的プロセスの産物ではないから
この本と広告が作られた因果過程は、米国の進歩派陣営と米国のテック企業の間の政治的後援関係が崩れたことにある。その結果、現金配分や法廷闘争予算の配分などの変化に対する事後的な正当化需要が生まれた
著者は「だからテック企業の権限を剥奪すべきだ」という結論から出発し、逆算して論理を合わせたのだ
したがってこの文書は、その結論がたまたま正しい場合を除けば、期待値として有用な含意を伝えない
「米国がウクライナ戦争に物理世界とサイバー領域でどう対応したかを比べてみよう…」というくだりがある
数週間前にStuxnetに関する良いドキュメンタリー Zero Days を見たが、この領域のツールが大衆の監視の外に置かれている度合いはかなり衝撃的だった
戦争行為に当たり得る攻撃能力が民主的な監督をほとんど受けていないように見え、元NSA長官でさえ資料の機密指定の範囲は行き過ぎだったと見ていた。事件からすでに何年もたった後でも、映画制作者に話そうとする人はほとんどいなかった
Palantir式のディストピア的な民間治安であれ、情報機関が使うツールであれ、記事が警告する状況はすでに10年前に到来していたと言える
チェックされない統治権力に対して何ができるのか
社会はただ姿を見せる人たちによって形作られるので、発言権が欲しいなら自分で出ていかなければならない
かなりそれなりに機能しているように見える
「米国や英国のような先進経済であるオランダでも、電力網はほぼ非常事態レベルのコードレッドで運用されており、今後データセンターが稼働すれば災害の波に見舞われる可能性がある」という予測がある
大きな予測を後で検証するために Timed Predictions という文書を管理している
ここに項目を追加するつもりだ。数年後の2026〜2027年に、過負荷の電力網のために「災害の波」を経験したのか評価してみる
あるいは誰かが少なくとも部分公開版を始めてもよさそうだ
RSS/Atom通知やフィード購読が付いた未来日付のブログ記事のような方式も可能だ
問題はビッグテックではなく、テラワット時級のバッテリーなしに再生可能エネルギーで電力網を維持し続けられるという幻想の中に生きていることだ
似たようなことをやりたいと思ったことがよくあったし、逆に結果がすでに出た後で予測を確認することもやってみたかった
オンライン言説は成功を過小評価しすぎている。人々は当たっているから話すというより、人々が聞きたがっているから話しているように見えることが多い
いちばん心配なのは、スマートフォンがセキュリティを巧妙に掌握している点です。今や携帯電話なしでは、納税、医療へのアクセス、職場へのログインすらできません。
25年前に、政府サービスへのアクセスが完全に民営化されると言われていたら、大きな反発があったはずです。ところが私たちはそれに同意しただけでなく、利便性と引き換えに自発的にそうしてしまいました。今では厄介な状況になっています。
アメリカ人はかつて「安全のために自由を手放す者は、自由も安全も得られない」という言葉に熱狂していましたが、今はそれよりさらに悪い状況です。私たちは利便性のためにセキュリティを手放し、自分たちに関するあらゆるものを、政府を丸ごと置き換えようとしている良心のない億万長者たちに渡してしまいました。そして彼らがそれを進める間、私たちはその費用まで払わされることになるのです。
会社のネットワークにアクセスするのに携帯電話が必要だという点も、現代のオフィスワークにノートPCが必要なのと比べて、そこまで怒るべきことなのかはよく分かりません。
https://www.irs.gov/filing/where-to-file-paper-tax-returns-w...
スマートフォンが政府サービスの利用をよりアクセスしやすく、効率的にした面があるのは確かです。特に、周縁化されたコミュニティ、農村地域、障害のある人々にとってはそうです。
だからといって、政府サービスへのアクセスが「完全に民営化」されたという主張には同意しにくいです。政府はこうしたサービスを開発・提供するために民間企業と協力することが多く、通常は一定の規制上の監督もあります。この協力から、オンライン納税申告ポータルや遠隔医療のような有用なイノベーションも生まれました。
自由を安全と引き換えにするという Franklin の言葉は今でも有効ですが、反対側も見る必要があります。技術の変化を拒めば、取り残されるリスクがあります。本当の課題は、利便性、セキュリティ、個人の権利の間でバランスを見つけることです。
「巧妙な掌握」だと警鐘を鳴らすより、権利を守るための実質的な措置に集中するほうがよいでしょう。オープン標準、規制枠組みの強化、デジタルリテラシー・プログラムへの投資が、よい出発点です。
学校バウチャーは過去も現在も、影響力のあるさまざまな集団の間で熱いテーマですし、政府サービスを完全になくして民間サービスに置き換えたい人たちもいます。民営化支持・小さな政府という考え方は、少なくとも Reagan 以降、非常に人気がありました。
アメリカで自由を安全、あるいは利便性や宗教のために手放してきた歴史は、さらに古いものです。冷戦政策と思想審査、各種の風紀取締法、制限的なゾーニング規制のような20世紀の例も多くあります。
記事で興味深い点はこれです。
政府はさまざまな手続きを、ますますテック企業に外注しています。テック企業が政府の名の下で運営するなら、政府と同じだけ責任を負うべきです。
これを「公的説明責任の拡張」と呼んでいます。単純に聞こえますが、巨大なゲームチェンジャーになり得ます。今は政府が中核的な政府機能をテック企業により多く外注する一方で、政府の説明責任まで一緒に押し付けています。