- ブラックピルとは、世界は仕組まれていて何も変えられないという虚無主義・憂うつ・怒りの結合であり、技術者に自分の選択権やコンピュータを変える力まで放棄させる
- ソフトウェア品質は技術不足よりも、経営陣の優先順位とエンジニアの交渉力に左右される。開発者たちは「許可を求めるより許しを請う」、秘密裏の作業、注意そらし、意図的な欠陥といった善意の不服従で対応してきた
- 広告、通知、A/Bテスト、推薦アルゴリズム、DRM、AIエージェント、ダークパターン、無限スクロールは、ユーザーに仕えるのではなく行動を制御する**強制ソフトウェア（coercionware）**になり得る
- AIが嫌でも仕方なく使う、公開ソフトウェアの共有をやめる、「自分がやらなくても誰かがやる」と倫理を手放す態度は、中央集権的な権力に集団的な主導権を渡してしまう
- コンピュータを作る人には今も選択権があり、年齢から来る知恵と若い頃の楽観を組み合わせ、ユーザーを制御せずに仕えるソフトウェアを自ら作るべきである
ブラックピルが生む自己強化的な絶望
- 『Matrix』の赤い薬が不都合な真実を受け入れる選択である一方、ブラックピルはゲームが仕組まれているのだから諦めて腐っていくしかない、という態度を意味する
- この用語が生まれたインセル・コミュニティでは自然なフィルタリングが起きる
- 励まし、メンタリング、問題解決を活用した人たちは成熟して関係を築いた後、コミュニティを去る
- 新しく入ってきた若い人たちは、絶望的で反社会的なメンバーだけに出会うことになる
- 時間がたつほど虚無主義、憂うつ、怒りが強まり、最悪の場合は自殺や学校銃撃のような結果につながる
- 保守的なキリスト教家庭で育ち、デートに必要なことを新たに学び、既存の認識を捨てなければならなかった経験も、こうした絶望に陥る可能性を高めた
- ピックアップアーティストたちの思想には虚無主義的で操作的な毒性があったが、その中の一つの助言は脱出口になった
- 特定の恋愛結果に執着せず、恋人候補や友人を含むすべての人にとって魅力的な人になることに集中する
- 他人を心から気にかけ、注意深く聞き、笑わせ、記憶に残る経験を提供する
- 一緒に時間を過ごしたい人になれば、自然とロマンスが生まれる状況も増える
- 悪い考えにさらされても、良い考えが同時に存在していれば、若い人たちはその中から役に立つものを見つけ出せる
去っていく回復者と残る怒り
- Cory Doctorowが2019年に発表した短編『Radicalized』は、健康保険会社の被害を受けた人たちが集まるオンラインフォーラムを中心に展開する
- 依存症回復フォーラムには、長く断酒しているメンバーが残り、人生を立て直せるという証拠と節度ある助言を提供する
- 一方、作中のがん患者フォーラムでは、怒りと悲しみを乗り越えた人たちが去り、怒りにしがみつく人だけが残る
- 恐ろしいほど怒っている人にも、それが正しく唯一の反応であり、今後も絶対によくならないと語る
- インセル・コミュニティと同じく、回復した人の離脱が絶望を強める構造である
- 作品発表から5年後、UnitedHealthcareの実際のCEOが銃撃で死亡し、薬莢には「deny, defend, depose」という言葉が書かれていた
ソフトウェアが正しく動かない理由
- 技術カンファレンスの参加者は、ソフトウェアは正しく動作し高速であるべきで、ユーザー体験を優先すべきだという前提を共有している
- 堅牢なソフトウェアを作る方法はすでにずっと前に発見され、ハードウェア性能も何桁もの規模で向上したが、ソフトウェア全体の堅牢性と性能はむしろ低下したと見ている
- 現場で品質改善が挫折する主な原因は、プログラマーの知識や努力の不足ではなく、事業上の別の優先順位を前面に出す経営陣である
- 会場で、会社のソフトウェアを改善しようとして経営陣に拒否された経験を尋ねたところ、参加者の半数以上が手を挙げた
善意の不服従とその代償
- 受益者が同時に権限も持つ組織では、開発者が経営陣の意向に逆らいながらも会社のための作業を行う善意の不服従を選ぶことがある
- 代表的な方法は4つある
- 許可を求めるより許しを請う：まず必要なことを行い、問題が起きたら事後に許しを請う
- 秘密裏の作業：経営陣が知れば止めるであろう必須業務を表に出さずに行う
- 注意そらし：重要な作業とそれほど重要でない作業を並行して進めつつ、些細な作業を大きく宣伝して経営陣の関心をそちらへ誘導する
- アヒル（duck）：経営陣が見つけて取り除いたという手柄を立てられるよう、明白な問題を意図的に追加する
- Battle Chessの女王アニメーションの逸話では、制作者が修正を求めると予想したアーティストが女王にペットのアヒルを追加した
- アヒルは実際のアニメーションと重ならないよう別に作られた
- 制作者は残りをそのまま承認し、アヒルだけを削除するよう求めた
- こうした手法は退職、対立、受容に代わる対処法であり、いずれもリスクを伴う
- ごまかしが見つかれば叱責されたり、退職金なしで解雇されたりする可能性がある
- 退職すれば、就職市場のストレスと不確実性を負うことになる
- 正面から対立すれば、静かな報復や組織内での政治的影響力の喪失に遭う可能性がある
- 受け入れれば、品質の低いソフトウェアを作らなければならない
労働市場とソフトウェア品質
- 開発者需要が供給を上回るとき、管理者は解雇を脅すよりも開発者の退職を恐れるため、エンジニアの交渉力が強くなる
- コンピュータが登場した当初、プログラマーは希少で、非常に強い交渉力を享受していた
- 自由市場が人手不足に追いつくにつれ、ソフトウェア開発者も他産業の労働者と同じ対立を経験するようになった
- ソフトウェア品質は技術的必然ではなく、エンジニアの意志と、偶然強かった労働市場での地位の組み合わせによって維持されてきた
コンピュータは誰の代理人か
- トランジスタは小さなベース電圧でずっと大きな電流を制御する自動スイッチであり、弱い信号が強い力を制御するというコンピュータのミクロな原理である
- マクロにも、コンピュータは小さな意思表示だけで大きな力を行使させるが、核心はその制御信号を誰が決めるのかにある
- ブラウザが
user agentと呼ばれるのは、ユーザーの代わりに行動するからである- ブラウザは訪問先のWebサイトではなく、ユーザーの利益に仕えるべきである
- Webサイトが望まなくてもユーザーが広告ブロッカーを使えることがその例である
- DRMは、ユーザーが所有するハードウェアを第三者の利益のために動かすため、エンドユーザーに敵対的なソフトウェアである
- 著作権者がコンテンツへのアクセスを許可する条件なので、消費者に間接的な利益があるという反論は可能である
- しかし、直接コンピュータを使うエンドユーザーの利益と、間接的な消費者利益は区別すべきである
- コンピュータは常に、直接相互作用している人に仕えるべきである
Asimovのロボット三原則と人間の権力
- Asimovのロボット三原則には次の優先順位がある
- ロボットは人間に危害を加えてはならず、また見過ごすことで人間に危害が及ぶようにしてはならない
- 第一原則と衝突しない限り、人間の命令に従わなければならない
- 前の二つの原則と衝突しない限り、自らの存在を守らなければならない
- この原則の下にあるロボットは、危害防止に必要な場合を除けば、人間の階層的な権力構造に参加しない
- 非暴力犯罪の逮捕状を執行せよという警察の命令を受けたロボットでも、当事者が帰れと命じればその言葉に従うべきだという例が、この性質を示している
- 「すべてのロボットとコンピュータは口を閉ざすべきであり、人間は神聖な存在で、機械は物である」というミームも、機械は人間に仕えるべきだという同じ理想を誇張した形で示している
- 機械が人間に仕えるべきだという線は、精神的な次元でも越えてはならない
ユーザーを操作する強制ソフトウェア
- **強制ソフトウェア（coercionware）**は、ユーザーに仕えず、人間を魂のないロボットのように操作しようとするソフトウェアである
- Amazon Mechanical Turkは、人間をロボットのように直接扱い、最低賃金未満の金額を支払うビジネスモデルである
- 職場監視ソフトウェアは、従業員の目の動きや排便活動まで細かく制御しようとする
- 侵入型広告は、効果があるなら人の思考を制御し、効果がなくても思考の流れを断ち、注意を奪って主導権を弱める
- ユーザーが意図的に有効化していないプッシュ通知は、行動をプログラム的に制御し、要求に反応するまでの時間も短くしようとする
A/Bテストとダークパターン
- A/Bテストは共感よりも測定された結果を優先し、クリックと売上を最大化する体験を選ぶ
- ユーザーを不安にさせてクリックを増やす赤いボタンが選ばれたとしても、その効果を意図的に設計したという記録を残さず、責任を回避できる
- ダークパターンはユーザーを公然と強制する設計であり、プログラマーたちがこうした敵対性を日常的に容認している状況そのものが問題である
- 航空機の客室乗務員向けUIで「Do you want to play the Boarding Music?」という質問に、緑色の「yes」と赤色の「later」だけを提供した事例は、拒否の選択肢を意図的になくした設計を示している
YouTube推薦とAIエージェント
- YouTubeでは、コンテンツ制作者と視聴者の双方が推薦アルゴリズムに制御されている
- 制作者はコンテンツの真正性を犠牲にしながらも、変わり続けるアルゴリズムの好みを追うようになる
- 現代的なサムネイルもアルゴリズムに合わせて似た形へ進化する
- 視聴者には、特定のコンテンツから極右コンテンツへつながる推薦経路のような現象が現れる
- AIエージェントはユーザーに仕えると約束するが、実際にはモデルと周辺の非公開ソフトウェアを制御するAI企業に仕える
- ソースコードを制御できなければ、ソフトウェアも制御できない
ドゥームスクロールと脳の脆弱性
- ドゥームスクロールは、単にある日Facebookを長く使いすぎた悪い習慣ではなく、コンテンツアルゴリズムと無限スクロールでエンゲージメントを最大化する根本的に強制的な構造である
- ユーザーは画面に捕まり、自分が選んでいないコンテンツを消費し続けることに慣れていく
- スクロールはプログラムカウンタ、新しく現れるコンテンツは命令のように機能し、脳で実行される任意コード実行脆弱性にたとえられる
- 企業が自社の利益のために選んだコンテンツの流れは、悪意ある第三者にも人の思考を操作する通路を開く
- 米国国家情報長官室が2017年1月にFBI、CIA、NSAの作業をまとめた評価は、Vladimir Putinが2016年米国大統領選挙を標的にした影響工作を指示したと判断した
- 目的は、米国の民主的手続きへの信頼を損ない、Hillary Clintonをおとしめ、当選可能性と潜在的な大統領職を損なうことだった
- ロシア政府がDonald Trump次期大統領に明確な選好を示していたという判断にも高い確信を与えた
- 主な手段は、国家が支援したトロール組織によるソーシャルメディアキャンペーンだった
- ソーシャルメディアの操作的な設計が人間の精神をハックする脆弱性を作り、その脆弱性は修正されないまま悪用され続けている
選択権を放棄させる日常的なブラックピル
- 社会がソフトウェアとより深く統合されるにつれ、強制的なサービスから離脱する能力まで低下している
- Discordだけで集まりを運営していた友人たちと連絡が途絶えた経験もこれに当たる
- 議員に絶えず連絡し、請願に署名し、新たな非常事態に対応しても、押され続けるだけだという疲労が積み重なる
- ブラックピルは、服従が平穏を与えるかのように、コンピュータの可能性を諦めさせ、その抑圧に降伏させる
- 「コンピュータは間違いだった」というプログラマーの冗談は、コンピュータを動かす当事者の主導権を否定する
- AIを嫌い、憂うつに感じながらも、どうしようもない現実だとして使う態度も同じパターンである
- ある管理者は、別チームの雇用をなくさなければ自分のチームがやられるという恐れからAIを使い、週50時間以上働いている
- AIの利用自体を好む場合と、嫌だが運命のように受け入れる場合は区別される
Anubisと防御的敗北主義
- Webスクレイピング防止ソフトウェアAnubisは、Linuxカーネルメーリングリスト、Codeberg、FFmpeg、Wineなどで使われている
- デフォルト設定のアニメキャラクターのマスコットよりも根本的な問題は、Web訪問のコストを意図的に高める方式である
- 本来、計算コストが低く匿名であるべきWebサイト訪問を、1桁以上高くする
- リンクプレビューやフォームを壊し、バッテリーを消耗する
- 訪問者がJavaScriptを切る選択権をなくす
- 正当な理由でWebにアクセスするボットまで排除する
- この方式は、勝利ではなく損失を遅らせるだけだという態度で、オープンWebを防御なしに放棄させる
冷笑と公開ソフトウェアの放棄
- Hacker Newsに「Site is trash」と残した反応も、誇張され冷笑的なブラックピルの例だが、かつてそのサイトから得ていた価値が減っていくという実際の悲しみから出たものだった
- AI企業がコードを収集し、次のLLMを作るために使うという理由で、自由・オープンソースソフトウェアの共有をやめる人たちもいる
- 自由ソフトウェアの目的はコードを収集されないことではなく、努力を共同で集め、ユーザーがソフトウェアを制御できるようにすることにある
- 重要なのは、高品質な自由ソフトウェアを利用でき、プロプライエタリソフトウェアの強制的な振る舞いを制限する競争手段が存在するかどうかである
- 共同ソフトウェアに参加しなければ、虐待的な中央権力に集団的な主導権をより多く渡すことになる
- 「自分がやらなくても他の誰かがやる」という理由で倫理を無視すれば、越えてはならない線を消し、信念を守る意志を失うことになる
技術には道徳的な出発点が必要である
- プロテスタント系キリスト教家庭で与えられた善悪の体系を成人後に解きほぐす**脱改宗（deconversion）**には、何年も、あるいは一生かかることがある
- 既存の信仰を離れると、新しい道徳体系を作らなければならず、正しさと誤りは何の前提もない状態からは導けない
- 「我思う、ゆえに我あり」を超える判断も、核心となる基礎前提を導入して初めて可能になる
- 技術者の役割は、人類が現在歩んでいる軌道を加速することである
- 同じ技術でも、誰が使うかによって善の力にも悪の力にもなり得る
- 現代の原子力は、原子爆弾の爆発を制御する方式で動作している
- 技術者の労働は、人類がすでに歩んでいる道の力を無差別に増幅する
- 人類が善であれば技術も善の力となり、人類が悪であれば技術も悪の力となるため、技術者は人類はおおむね善であるという信念を持たなければならない
Stanislav Petrovが選んだ信念
- 1983年、Stanislav Petrovは攻撃早期警戒システムを監視し、攻撃が検知されれば上層部に即時報復を要請する任務を担っていた
- 9月26日、システムは米国がミサイル5発を発射したと報告した
- Petrovは誤警報を疑い、ソ連の軍事規定に反して追加確認を待った。実際にコンピュータ検知システムの誤警報だったため、確認は来なかった
- 規定に従っていれば、上層部が米国を攻撃し、全面核戦争が起きた可能性が非常に高かった
- その後のインタビューで、当時それが誤警報だという確信はなく、可能性は五分五分だと見ていたと語った
- 証拠だけでは決められない状況で、人類は善であるという信念を選び、莫大なリスクを引き受けた
若さが保ったコンピュータの魔法
- Joudakiの正式デビューアルバム『I Love My Computer』とミュージックビデオ『Hazard』には、コンピュータの魔法を今も信じる感覚が込められている
- ミレニアル世代がコンピュータを初めて発見したときに感じた郷愁を刺激しつつも、一世代後の作品らしくYouTubeやDiscordを含む現代のWebを積極的に使っている
- YouTubeやDiscordのダークパターンを批判することが間違いではないが、その過程でコンピュータへの喜びと信念も一部失い得る
知恵と楽観をともに守る方法
- 若い人たちは苦難から来る知恵が足りず、詐欺にだまされたり、企業のバイラルマーケティングに無批判に参加したり、可能性の低いことを信じたり、永続的な被害を生むリスクを負ったりする
- すでに失敗することが明らかに見えることにも挑戦する理由は、まだ世界に傷つけられ、冷笑的になっていないからである
- 年長者は同じ傷を繰り返さないための対処法を身につけ、現実によりよく適応するが、若い人は現実を変化させようとする原動力がより強い
- 社会には、年齢から来る知恵と、すでに何度も失敗したことをもう一度試みる若さの盲目的な情熱の両方が必要である
- 『Hunter × Hunter』で12歳の主人公が耐えきれない裏切りを経験し、敵を倒す力を得るために即座に成人する場面は、絶望と無関心が人を徐々に老いさせる過程を圧縮している
- 既成世代の課題は、若者の純真さを悪用する人々から守りつつ、自分の蓄積した苦痛や冷笑まで感染させないことである
自ら作ることがブラックピルに抗う方法
- Discordを使わず友人たちと疎遠になった人々が、不満を述べるだけにとどまらず、よりよい代替を自ら作ることにした
- 世界を変え、既存サービスと競争するために必ずしも100万ドルが必要なわけではなく、コンピュータ、好奇心、時間だけでも始められる
- コンピュータに何をさせるかを決める主体は開発者自身であり、強制に利用される状況を運命のように受け入れる必要はない
- ユーザーを制御するソフトウェアにともに立ち向かい、人類とコンピュータの可能性を信じ、その信念を意志によって現実にしなければならない
1件のコメント
Lobste.rs の意見
ソフトウェアの品質は、エンジニアたちの意志と、偶然にも強かった労働市場での交渉力が結びついて初めて維持されてきた、というくだりがとりわけ強く響いた
許可を求めるより許しを請えという原則を長年守ってきたし、強くおすすめする
心と理性が正しいと考えることをしつつも、たいていは先に許可を求め、必要ならそれでも実行するほうがよい
AI が好きか嫌いかとは別に、プロは必要な道具を使う。上司が特定のやり方を望むなら、客観的に検討して提案を示し、どんな決定が下されても 良いプロダクトを届けること が自分の仕事だ
コンピューターと技術の現状を見て 極端な悲観主義 に陥ったことがあり、未就学の子どもにそれをどう触れさせるべきか悩んできた
この発表をきっかけに、技術の搾取的な本質を恐れて被害を抑えることにとどまらず、技術が自分たちのために機能するように主導権を取り戻す動機 を得たい
発表で名前が明かされていなかった Discord に似たプロジェクトが何なのか気になる
ニヒリズムとミーム に思考を侵食させてはいけない
まだ聴いていないなら、そのアルバムを強くおすすめする。個人的に最も好きなアルバムのひとつだ
素晴らしい発表だが、YouTube に投稿した点 は皮肉だ
現実的に、YouTube 視聴者の半分にでも届く別の動画プラットフォームがあるのかは疑問だ