責任追及を吸収する組織の「責任シンク」
(aworkinglibrary.com)- Dan Daviesの The Unaccountability Machine は、組織が意思決定の結果を吸収したり曖昧にしたりして、誰も直接責任を負わないようにする責任シンクを作り出すと見ている
- こうした構造は、意思決定の影響を受ける人々からのフィードバックがシステム運用に戻らないようにつながりを断つときに機能する
- ホテルの清掃人員削減、保険会社による施術拒否、航空便のキャンセル、政府給付の受給資格なしとの判定、アプリにAIを入れろという投資家の要求は、意思決定者と被害を受ける人の間のつながりが断たれた例である
- Dominion Systems vs Fox Newsのように、明示的な決定なしに視聴者指標が最優先だという暗黙の理解が後続の決定を押し進めると、決定の出どころが曖昧になり、責任追及が難しくなる
- アルゴリズムに意思決定を委ねると責任シンクを作りやすくなるが、企業や政府のような大規模組織はすでにそうした構造に慣れており、AIは責任ロンダリングを拡大する手段に近い
責任シンクが機能する仕組み
- 責任シンクとは、意思決定の結果を吸収したり覆い隠したりして、誰も直接責任を負えないようにする組織構造である
- ホテル会社の上層部が清掃人員を減らせば、帳簿上の数字は改善するかもしれないが、客室が準備できておらずチェックインできない顧客は、その意思決定者に抗議したり影響を差し戻したりする手段がない
- フロントスタッフはバウチャーを提供できるが、顧客が必要としているのは客室である
- 意思決定者と影響を受ける人の間のフィードバック経路が消える
- Daviesの基準では、責任シンクが機能するには、影響を受けた人のフィードバックがシステム運用に反映されないように接続を断つ必要がある
- 同じ構造はさまざまな状況で繰り返される
- 健康保険が施術を拒否するとき
- 航空会社が航空便をキャンセルするとき
- 政府機関が給付の受給資格なしと宣言するとき
- 投資家がポートフォリオ企業に、いわゆるAIをアプリへ押し込むよう求めるとき
責任を可能にする権限と説明
- 責任は、ある決定を変えられる能力の範囲と結びついている
- Daviesは、決定を変えられる度合いが、その決定について責任を負える度合いそのものだと見ている
- Sidney Dekkerのaccountabilityの定義は、責任を「語ることのできる説明」と結びつけている
- 何がどのように起きたのか、どのような条件があったのか、当時なぜ良い決定のように見えたのか、誰が関与したのかを理解してこそ、その後より良い意思決定を学べる
- 2つの枠組みを合わせると、責任を負うには変える権限と、その権限がどのように使われたかについての物語の両方が必要になる
- アルゴリズムに意思決定を任せると、責任シンクを作るのに都合がよい
- しかし企業、政府、そしてその中間にある組織は、すでに責任シンクを作ることに長けている
- AIが提供する責任ロンダリングは、まったく新しいものではなく、拡大・強化された形である
- 企業に責任を負わせようとして失敗してきたやり方は、アルゴリズムを相手にしても成功しにくく、別のアプローチが必要である
1件のコメント
Hacker Newsの意見
ドイツの空港／航空会社で似たようなことを経験し、同じことを考えた。
完全に自動化された空港で、チェックインはセルフサービス、やり取りする相手はコンピューターだけだったのだが、搭乗券を入れると、通路側の席が中央席に変更されたという紙だけが印刷された。最後まで人を探して抗議しようとしたが、コンピューターはUIが設計した通りにしか応答せず、プログラマーも私の状況を考慮していないようだった。地上係員も自分の業務範囲ではないので何もできず、後から届いたアンケートも別区間に関するものだったため、きちんと不満を申し立てるのも微妙だった。
代替バスの場所もアプリにも駅のどこにも案内がなく、バスの運転手は接続列車に乗れるのかと尋ねた高齢者に対して、自分の仕事ではないといら立った様子で返した。バスは暗く、窓は湿気で曇って見えず、停留所の案内も表示もなかったうえ、1時間のあいだ暖房も効いていなかった。その週にはSIMカードが削除され、宅配便も消えたのだが、カスタマーサポートのホットラインで遭遇した「他人事」の量を記録することすら、今では私にとって他人事になっている。
見つけられた唯一の人間は警備員で、機械に貼ってある番号に電話しろと言うだけだった。電話に出た相手は英語が話せず、私の50ユーロはどこかにあるのだろうが、取り戻すためのコストのほうがそれ以上になりそうだ。
以前、Amazonが配達完了と表示した荷物がどこにもなかったのに、助けを得る方法がなかった。FAQには茂みを確認しろと書いてあるだけだった。検索のオートコンプリートには「配達完了になっているのに荷物がない」類の文言がいくつも出てきて、さらに腹立たしかった。今は少し改善されたが、依然として似たようなものだ。
まず善意で問題解決を試み、その記録を残して、審理まで行ったら証拠として使えばいい。そのうえで請求を出すと、たいていはすぐに引き下がり、企業が理解する唯一の言語で実際のカスタマーサービスを促せる。
あの映画の官僚制には、それでも罪悪感を抱き得る人間がいたが、ここでは人間が直接関与する必要がないため、はるかに大きな規模でディストピア的になり得る。
企業の主要な機能の一つは責任を曖昧にすることだと、ずっと考えてきた。有限責任という名前には理由があり、会社はいくらでも作り出せるため、責任を暗い隅へ押し込めるのは簡単だ。
だから企業を人間として扱うべきではないという強い理由がある。人間は長く存続し、責任を負う存在であり、好き勝手に作ったり消したりすることはできない。
企業は内部経済や取引先との関係でもこのように動く。コストセンターが金を払い、責任を委任する。
この話がもっと出てこないことを、昔から不思議に思っていた。皆、あまりにも慣れきっているようだ。私としては、会社に罰金を科すという概念そのものをなくし、違法行為をした人間を刑事処罰する方式に変えるべきだと思う。
Cathy O'NeilのWeapons of Math Destruction（2016年、Penguin Random House）は、この概念をシステムを作る側、あるいは監督する側から見た良い併読テキストだ。
Cathyは、どのような文脈でアルゴリズムの使用が有害で責任を負わないシステムを新たな規模で可能にし、それを制御すべきだと主張している。
https://www.penguinrandomhouse.com/books/241363/weapons-of-m...
アルゴリズムの代わりに儀式用の穴を置いても、警察官という地位が民事責任と刑事訴追から実質的な免責を与える状況を置いても、同じように機能する。有害で責任のないシステムを可能にするのは、結局のところ、人間が何らかの根拠で他の人間の責任を問わないという選択なのだ。
この例は事実ではないので、悪い例です。Fox News と Dominion の件で、Rupert Murdoch は宣誓の下で「Fox は、選挙が盗まれたという虚偽の概念を時折支持していた」と認め、その主張が虚偽だと知りながらも、放送局が別のことを言うよう指示しないことにしました
Fox 内部の司会者たちのコミュニケーションも、自分たちが言っている内容が虚偽だと知っていたことを示しています。これは明らかに嘘の定義に当てはまり、Wikipedia の「External Links」には、誰がいつ何を知っていて発言したのかを詳しく記した実際の裁判文書があります
[1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
[2] https://www.nbcnews.com/politics/elections/dominion-releases...
[3] https://www.dictionary.com/browse/lie
[4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...
自動化、とくにアプリ化が経営陣や C レベルにとって魅力的な大きな理由の一つは、責任のつながりを断ち切れるからではないかと疑っています
最近の多くの企業は、プロダクトマネージャー、開発者、運用担当者が社内 IT インフラである「ソフトウェア層」を維持・改善する「管理層」、日常業務を実際に動かす巨大な自動化インフラである「ソフトウェア層」、Uber ドライバー、配達員、Amazon 倉庫作業員のように、低賃金で離職率が高く、物理的な仕事をこなす「労働者層」に分かれる構造を持っています。労働者たちはほぼすべての指示をアプリやデバイスを通じて受け、経営陣とは接触できず、会社はそもそも彼らが従業員であることすらしばしば否認します。重要なのは、ソフトウェア層が二つの層の間の責任のファイアウォールのように機能し、労働者の不満はソフトウェアを越えて上には上がらず、搾取的な行為は不運なソフトウェアのエラーとして片付けられる、という点です
理由は「ルールがそうなっている」か「システムがそうなっている」からです。誰がルールを決め、システムを作ったのかは誰も知らないようで、直接掘り下げるのはヘラクレスの難業に近く、たいていは時間の無駄に終わります
変わったのは、今では指示や手順を人間ではなくソフトウェアとハードウェアが実行する場合が多くなったという点です。顧客が受け取る最終的な結果は、思ったほど大きくは変わっていません。相変わらず同じコーヒーやタクシーを受け取るだけで、より速く安く、あるいは少し良くなったにすぎませんし、こうした漸進的な改善は IT 以前にも、社内のプロダクト管理や組織手順の改善で可能でした
考える材料を多く与えてくれる記事です。この問題は、政府の消費者保護機関と法律がなぜ重要なのかを示しています
欧州を経由する、または欧州の航空会社を利用すると、便が3時間を超えて遅延したり欠航したりした場合に約600ユーロの補償を受けられる EU 法があります。空港で会社がどんなでたらめを言おうと補償を受けられる良い保険であり、お金を受け取る手続きもかなり単純です。航空会社のシステムを迂回して補償へ直結する道を提供し、航空会社がきちんと運航しなければ罰金をあまりにも多く払うことになるため、実際の動機にもなり得ます。チャットボットの壁で企業が顧客を締め出す状況を避けるには、こうした保護法が本当に必要です
新しく出てきた自動化された政府の電子申請システムで、こういうことをかなり頻繁に経験します。スクリーンリーダーを使っており、ペンと紙は助けなしには使いにくい立場なので、最初はこうしたシステムをかなり気に入っていましたが、少し考えが変わりました
紙なら何でも書け、その内容に筋が通っているかは人が検証します。コンピューターはそうではないため、申請書の数字が互いに一致しなければならないと言われると、実際には少しずれる特殊なケースであっても、政府に嘘をついて数字を合わせなければなりません。担当の地方政府事務所に電話したところ、実質的に政府に嘘をつくよう遠回しに言われました。システムは中央管理なので地域事務所には修正権限がなく、直したくても彼らにすら権限がありません
STS の大学院生だったとき、ソフトウェアが行為主体性の調整器のように機能する仕組みに関するプロジェクトをやってみようかと考えたことがあります
個人が何らかのリスク、たいていは経済取引のリスクを引き受け、利益の大半はソフトウェア所有者が持っていく構造です。Uber と関連サービスは、多くの面で、発生確率は低いが影響の大きい下方リスクを、個人がわずかな手数料と引き換えに引き受けるようにする装置です
意思決定をアルゴリズムに委任することは、責任の吸収地点を作りやすい方法だという AI との比較は明らかです。私の LinkedIn アカウントには、プロフィールに「follow-me」リンクを付けられないようにするフラグがあります
サポートチームの誰も理由を知らず、いつからなのかも知らず、いつ変わるのかもわかりません。私たちはすでに、こういう世界に生きています
組織は道徳的責任を取り除くために存在する
裁判官、陪審員、死刑執行人、銃殺隊、有限責任組織はすべて、きれいな箱の中に収まり、人々が夜眠れるようにしてくれる。裁判官は陪審が判断したのだと言い、陪審は裁判官が公正な刑を下すと信じ、執行人は前の二つの集団がなすべきことをしたと信じる。こうしたシステムは、一人の人間に行動を妨げるというより、一連の引き継ぎのプロセスを作り出し、看守が扉を閉める頃には、結果の道徳性への関与が消えているようにする。銃殺隊で複数の銃のうち一つだけに実弾が入っているのも同じ構造だ。大きな制度や組織、規模の大きなものは完全に非人間的であり、判決を下す人が刑罰も直接執行するなら、結果は違ったものになるだろうと考えられる
陪審員に処刑を執行させ、裁判官に収監の責任を負わせれば、嗜虐的な人に対して非常に大きな逆インセンティブが生じる。裁判官や陪審員がこうした重みを直接背負えば、より共感的になるだろうと誤って仮定している。実際には、こうした仕事を任せたくない人々がその仕事をする可能性が高い。処刑時に空砲を使う方式を除けば、残りの制度は内部の人々を守るというより、有罪判決を受けた人を守るものだ
権力分立が間違った方向だったと主張する政党を作ってもいいし、もっと良いのは、超独裁者のいる数十の国のうち一つを訪れてみることだ