- 英国のPost Office支局を運営していた人々は、Fujitsuが開発したHorizon会計システムの不具合により、存在しない不足金を背負わされ、1999～2015年の間に数百人が有罪判決、破産、収監、評判の失墜を経験した
- Horizonは紙ベースの会計を置き換えるため1999年に導入されたが、複数の支局で数千～数万ポンドの架空の不足金を表示し、同じ計算を再提出すると金額が増える事例もあった
- 支局運営者は契約上、損失責任を負う構造になっており、Post Officeは問題を訴えた人々に「あなた一人だけだ」と答えたり、無実を証明するのに必要なアクセスを妨げたりして、被害を拡大させた
- 2019年、500人以上が起こした民事訴訟で、Horizonのバグ・エラー・欠陥が認定され、Post Officeは1億3,800万ポンド超を補償したが、700件の有罪判決のうち取り消されたのは93件にとどまる
- ITVドラマ「Mr Bates vs The Post Office」の後、世論が爆発的に高まり、政府は判決取り消しのための法案推進を開始した。一方で、Fujitsuの補償責任や刑事責任の有無は依然として調査対象となっている
Horizonの不具合が生んだ大規模な冤罪
- 英国のPost Office支局を運営していたsub-postmasterたちは、1999～2015年にHorizonが表示した不足金のために、刑事処罰、破産、評判の失墜を経験した
- 英国政府はPost Officeを所有しており、この事件を英国史上最大級の冤罪事件の一つと位置づけている
- 被害は数千人規模に広がり、そのうち700人が刑事犯罪で有罪判決を受け、一部は収監された
- Horizonは日本のFujitsuが開発し、1999年に紙ベースの会計を置き換えるため導入された
- 導入直後から、支局管理者たちはソフトウェアがPost Officeの口座から数千ポンド以上が消えたかのように表示すると問題を訴えていた
存在しない不足金が個人の犯罪にされた
- Jo Hamiltonは2003年、英国南部の小さな町で郵便局を運営していた際、Horizonのコンピューターが2,000ポンドの不足金を表示し、同じ計算をやり直すと金額が目の前で2倍になったと語っている
- Hamiltonは存在しない不足金を埋めるために自宅を借り換え、Post Officeが2007年に窃盗と虚偽会計の容疑で起訴した時には、不足額は3万6,000ポンドにまで膨らんでいた
- 窃盗容疑を取り下げる条件として虚偽会計を認めたが、その過程はHamiltonを打ちのめす経験となった
- Wendy Buffreyも2008年、同じ計算を再提出するたびに、Horizonの説明不能な不足金が2倍になる状況を経験した
- Post Officeの調査官はBuffreyに、同じ問題を経験しているのは彼女一人だけだと述べた
- Buffreyは自分が3万6,000ポンドの責任を負わねばならないと考え、クレジットカードを限度額まで使って1万ポンドを口座に入れた
- 当時の弁護士は、無罪を主張すれば3年の刑になる可能性が高いと話し、Buffreyは窃盗容疑が取り下げられる条件で虚偽会計を認めた
- Buffreyはその後、ストレス関連の線維筋痛症による継続的な痛みに苦しんでいると語っている
支局運営者に不利だった契約と調査手法
- Post Officeの契約はフランチャイズ契約に近く、支局運営者は自分の支局で発生した財務損失の責任を負わされていた
- 契約が終了した一部の運営者は、Post Office調査官によって事業所への立ち入りを妨げられ、無実を証明する証拠を探すことが難しかった
- HamiltonがHorizonのヘルプラインに電話するたび、担当者はシステム障害を経験しているのは彼女だけだと答えた
- 弁護士Neil Hudgellは、虚偽の告発を受けたり、事業と評判を失ったりした末に自ら命を絶ったsub-postmasterとその家族について直接聞いたと述べている
- Martin Griffithの妻は被害者陳述書の中で、夫はPost Officeによる契約終了の決定後、深いうつ状態に陥り、バスの前に歩いて入っていったと明かした
- Griffithは口座不足を埋めるために両親から金を借り、その後、支局で強盗事件にも遭っている
訴訟で勝訴した後も遅い補償と判決取り消し
- 2019年、500人を超えるsub-postmasterが起こした民事訴訟で、Horizonには「bugs, errors and defects」があったとの判断が示された
- Post Officeはこれまでに補償金として1億3,800万ポンド超を支払っており、誤った有罪判決を覆す支援を含め、過去の過ちを正す立場だとしている
- 2019年の法的勝利以降、さらに多くのsub-postmasterが、Horizonが誤った不足金を表示していたと名乗り出た
- 有罪判決を受けた700人のうち、現時点で無罪が認められたのはHamiltonやBuffreyを含む93人にすぎない
- これまでに2,700人以上が補償を申請しているが、多くのsub-postmasterは受け取った補償が不十分だとし、事件関係者の責任追及を求めている
警察捜査とFujitsuの責任範囲
- ロンドン警視庁は2020年、Post Officeが犯した可能性のある詐欺犯罪について刑事捜査を開始した
- 警察はsub-postmasterの起訴に関連する可能性のある犯罪容疑について、Fujitsuも調査している
- 英国政府の閣僚2人は、独立した公的調査の結果次第で、Fujitsuが被害者への補償金支払いを求められる可能性があると述べた
- Fujitsuは、事件の経緯を理解し学ぶために調査支援に尽力しているとの立場を示している
- Fujitsuは、調査によってpostmasterとその家族の人生に与えた壊滅的な影響が確認されたとし、彼らの苦しみにおいて会社が果たした役割について謝罪した
ドラマが引き起こした政治的対応
- この事件は長年にわたり法廷や英国メディアで扱われてきたが、ITVドラマ「Mr Bates vs The Post Office」の放映後、大衆の認識と怒りが急速に高まった
- ドラマは、sub-postmasterたちが無実を証明し、補償を受けるために繰り広げた長いキャンペーンを描いている
- Alan Batesはその取り組みを率いた元sub-postmasterである
- ドラマ公開後、英国政府はsub-postmasterたちが長年求めてきたスピードでの対応を、わずか数日で示した
- 首相Rishi Sunakは、数百人のsub-postmasterに対する有罪判決を覆すための画期的法案を議会が迅速に通過させると発表した
- 英国の政治・司法制度には、誰が何をいつ知っていたのか、刑事責任を負うべき個人がいるのか、そしてFujitsuが被害補償にどの程度責任を負うべきかという問題が残されている
20年近く続くトラウマ
- Siema Kamranと夫のKamran Ashrafは2001年、ロンドン北部の郵便局支局を購入し、3年後のPost Office監査で説明不能な2万5,000ポンドの不足金が見つかった
- Ashrafは弁護士からの圧力を感じて窃盗容疑を認め、2004年に禁錮9カ月を言い渡され、2020年に有罪判決が取り消された
- Ashrafは服役初期の数週間を高警備の刑務所で1日23時間拘束された状態で過ごし、その後、警備レベルの低い刑務所へ移された
- 彼は4カ月後に釈放されたが、その後5カ月間、位置追跡用の電子足輪を装着した
- 現在、自営業のメイクアップアーティストとして働くKamranは、夫がこの経験により心的外傷後ストレス障害を抱えており、夫と自分、そして3人の子ども全員に治療が必要だと語っている
- Kamranは、Post Officeがこんなことをできるのなら、ほかのブランドが何をしうるのか分からず、もう大企業で働くことはできないと話している
1件のコメント
Hacker News の意見
現実の事例を新たに整理した記事で、この事件がきっかけで情報システムの博士課程に進むことになった。
何十年にもわたって優れた IT・ソフトウェアのプラクティスが蓄積されてきたにもかかわらず、なぜ今でもこのレベルの IT の無能さが起こり得るのか知りたかったが、ほどなく情報システム研究がその大部分をすでに説明してきたことに気づいた。
結局、人は人であり、ひどい組織はひどい組織であり、ほぼあらゆるものにベルカーブ状の分布が存在する以上、完全にはなくならないのかもしれないと思っている。
全員が利他的で、謙虚で、賢く、有能で、正直なら、IT だけでなく世界の多くの問題は消えるだろうが、人・組織・社会はそれぞれのやり方で壊れている。
それでも組織研究はより良い道を示そうとしているが、最後まで気にしない人たちもいるのだと思う。
このテーマはすでに十分研究されているように見えるので、これ以上集中するつもりはないが、この事例が今も繰り返しニュースに登場するのは興味深い。
重要なシステムには責任の所在があるべきで、その責任は製作者・所有者に安全装置・検査・保護策を作る義務を課すべきだ。
なぜソフトウェア工学にはこの原則がうまく適用されていないのかは別の話だが、適用されるべきだと思う。
「素早く動いて壊せ」という言葉は、正直聞きたくない。
この事件は規模が大きく、数百・数千人が関わっていたため公論化され、回復の試みがあった。
互いに散在している事件の中には、人生が破壊され、無実の人が刑務所で朽ちているケースがどれほどあるのかを問うべきだ。
この組織には、やけに苛烈な人々を引き寄せる何かがあるのか、あるいはこの数十年でそう変わったのかもしれない。
2000年代初頭の「The People’s Post Office」のテレビ広告で、サブポストマスター役を John Henshaw が演じていたが、強烈な悪役や腐敗警官役で知られる俳優なので奇妙ではあるものの、妙に合ったキャスティングだった。
「全員が賢く善意で行動するなら」に依存するのは、すでに壊れた設計だ。
学術界に関心があるなら、無能な人や、さらには敵対者がいても動作するシステム設計を改めて見直すことを強く勧める。
むしろ、真実と柔軟な関係を持つ大言壮語の詐欺師のほうが、どこでも上に行きやすい。
実際に裏で技術的に何が起きていたのかについて、さらに情報がある: https://www.theguardian.com/uk-news/2024/jan/09/how-the-post...
開発チームの David McDonnell は調査で、「開発チーム8人のうち2人は非常に優秀で、2人はまずまず一緒に仕事ができたが、3〜4人は能力が不足しており、プロフェッショナルなコードを作ることができなかった」と述べている。
開発者に責任を押し付けようというわけではなく、責任は明らかに管理陣にある。
コードにバグを作った人たちが、そのせいで別の人たちが刑務所に行った責任まで負うべきではない。
管理者はエンジニアが実際に何をしているのかよく知らない。
工学的なトレードオフを本当に理解しているのはエンジニアだけであり、私たちの仕事の結果に人生が懸かっているなら、選択の結果から完全に守られるべきではない。
社会にとっても、結局は私たちにとっても良くない。
不法行為法の原則上、予見可能な被害には責任があり、専門性が高いほど責任も大きくなる。
チームのシニアエンジニアたちはもっと上手くやるべきだったし、過失があると思う。
この点がいつも引っかかる。
アクセスを完全に監査する API を作ることはできるが、その API を迂回するコードは簡単に書ける。
コードは壁やドアのある建物ではないので、ドアに触れずに内部を変えられる。
運用者向けの監査されないバックドアを入れるのは悪いことだが、ソースコードを編集できるなら、バックドアは事実上無限に存在する。
Horizon は1990年代の産物で、当時のソフトウェア業界は今とはかなり違っていた。
当時の面接でプログラマーに日常的にコーディングを求めていたのは Microsoft くらいで、採用はほとんどランダムに近かった。
動くコードを書ける少数の人が、まったく書けない多数を支えるチームは珍しくなかった。
The Daily WTF もその時代の産物で、Brillant Paula Bean のような話が多い: https://thedailywtf.com/articles/The_Brillant_Paula_Bean
最近はそういう話をずっと聞かなくなったが、業界が採用前に具体的なスキルをテストする方向に落ち着き、まともにコーディングできなくてもプロジェクトに入っていた人たちがかなりふるい落とされるようになったからだ。
私がこのアプリの唯一の開発者であり販売者なら、責任はないのだろうか。
QA が1人いたら、開発者と QA がそれぞれ2人いたら変わるのだろうか。
アプリを売ったり宣伝したりした非技術者が代わりに責任を負うべきなのか。
自分のコードを十分に確認しなかった開発者の責任が、なぜ完全に消えるのか分からない。
この事件の核心は、Post Office内部の私的な「司法」制度だったように思う
不透明で偏りがあり、証拠の検討を拒んでいた
普遍的な権利を追求する時代に、職場が公的な司法制度で自分を守る権利を奪えるというのは愚かなことだ
ITのバグも問題だったが、過去に取り残された組織の政治的な誤判断が多くの人を破滅させ、テレビドラマが出るまで埋もれていた
実際、Post Officeを率いていた人物は政府から勲章まで受けていた
ITやコード生成には落とし穴が多いが、この事件の核心は別のところにある
公開調査では、Post Officeがサブポストマスターたちに窃盗の罪をかぶせ、より軽い罪状で有罪を認めるよう圧力をかけるなど、攻撃的な法的戦術を使っていたことが明らかになった
CPSは、Horizonシステムの「注目すべき証拠」が含まれるサブポストマスターの事件11件を確認した
法律専門家らは、私的訴追を進める側には正義の実現以外の動機が入り込む可能性が高く危険だ、という警告は何年も前から政府にあったと見ている
元検察局長のLord Ken Macdonald KCは、Post Officeのように利害関係のある組織が検察官の役割を担うと、明白な危険が生じると述べた
CEOは危機を「管理」したことで報酬を受け、政府は初期数年間の警告サインの後に答えを求めるべきだった
しかし20年とテレビドラマを経て、ようやくリーダーシップを示すよう強制された
国際的にNetflixがライセンス配信しているのかは分からない
英国の状況とは少し違うが、強制仲裁条項は従業員が正義を求める権利を奪っており、ますます一般的になっている
BBCは2015年にPanoramaのドキュメンタリーでこの事件を放送し、Post Officeはその内容を理由にBBCを脅した
「Post OfficeはHorizonスキャンダルで郵便局長たちを無罪にする核心的証拠を押さえ込もうとして、BBCを脅し、嘘をついた」
「虚偽の主張で番組を止めることはできなかったが、BBCの放送を数週間遅らせることにはなった」
https://www.bbc.com/news/uk-67884743
単なる「欠陥」ではなく、被害者たちの声をこれまでかなりうまく抑え込んできたPR戦でもあった
ニュースを見て「5年前に聞いた話だけど、当然もう解決しているんだろう？」と思っていた
正義の車輪が動く前に、ここまで世論化される必要はなかったはずだ
数年前は「技術が人の人生を壊すのか」と思っていたが、2024年になっても続いている状況を見ると、もはや技術のせいには見えない
結局は人間の問題であり、人間はひどいものだ
この話がようやく相応の注目を集めている
不正義の途方もない規模を要約して知りたいなら、Private Eyeのこの記事は読む価値がある: https://www.private-eye.co.uk/pictures/special_reports/justi...
2020年に始まったBBCのラジオ番組も、Post Officeが疑いをかけられたサブポストマスターたちをどのように調査したかなど、良い情報を多く提供している: https://www.bbc.co.uk/sounds/brand/m000jf7j
単なるソフトウェアの欠陥とは見なしにくい
政府運営機関のあらゆる階層で、官僚機構が悪い世評を避けようとして隠蔽しようとした
医療機器？ 絶対にごめんだ
もちろん自分のコードがどこで実行されるかは最後まで分からないけれど
ここまで大きくなるにはソフトウェアの問題だけではなかったにせよ、何年もこの件を担当していた開発者たちがどうやって見過ごせたのか気になる
開発者の中で一人もこの問題を聞かなかったとは信じがたい
「あり得ない、自分は世界で一番優秀だからシステムの問題のはずがなく、あの人たちが全員金を盗んだのだろう」とすぐに考えたのだろうか？
自分なら眠れずに、システム全体を頭の中でたどり直して、どこで間違ったのか探そうとしたと思う
ダニング＝クルーガー効果のようなものなのかもしれない
自分がコーディングの魔法使いだとは思っていないが、死ぬまでバグを作るだろうという程度のことは分かっている
Rustも論理バグまでは防いでくれない
1つのバグではなく、複数の別々のバグだった
Post Officeは完全な民間企業だ
この話には分かりやすい悪役がたくさんいるが、その間、法体系はどこにあったのかと思う。
本物の証拠もないまま、あるいは「コンピューターがそう言っている」という理由だけで、900件も起訴したということなのか？
三権分立の一翼を担うなら、法体系と司法府は、完全に無実の人々に対するこのような気まぐれな大量迫害を防ぐ最後の砦であるべきではないのか？
「彼女が金を持ち去ったという直接証拠はない……彼女は窃盗を断固として否認している。CCTVの証拠もない。指紋や印の付いた紙幣のようなものもない。別の場所に現金を積み上げていたとか、大金を使ったとか、借金を返したという証拠もなく、銀行口座に関する証拠もまったくない。家宅捜索をしても、有罪を示すものは見つからなかった」
唯一の証拠は、Post OfficeのHorizonコンピューターシステムが支店にあるはずだと示した現金額と、実際の現金額との差だった。
「Horizonは数千の郵便局で長年使われてきた実証済みのシステムであり、根本的に堅牢で信頼できるという十分な証拠がある、という検察側の主張を受け入れるか？」
私の言い分とあなたの言い分だけでは「合理的疑いを超える」基準を満たせないが、コンピューターシステムに裏付けられたPost Officeの言い分は、陪審員には十分説得力があったようだ。
上記の事件で陪審は有罪評決を下した。
正常に動作していると仮定し、そうではないと主張する側が立証責任を負う。
多くの人が、このコンピューター証拠の推定を変えるべきだと言っている。
https://www.theguardian.com/uk-news/2024/jan/12/update-law-o...
https://www.forbes.com/sites/emmawoollacott/2024/01/15/law-o...
ソフトウェアは賢くも愚かでもない機械だ。
この場合は故障していて、実際に状況を批判的に分析し判断できる人々が、中身をまともに見ることのできない機械の出力を福音のように受け入れてしまった。
一般的に治安判事は、His Majesty’s Postal Serviceの名誉ある法務チームと、地方訛りの「我々には盗んだように見える汚い男」が対峙すれば、毎回政府側を選ぶだろう。
口座に金が移動した痕跡もなく、説明のつかない財産もなく、贅沢な支出もなかったのに、すべて「コンピューターがそう言った」だけだった。
司法制度が各事件を個別に扱うことも問題だ。
何件か進んだ時点で「ちょっと待て、ここには何かおかしい」と止められる仕組みが、法体系には必要だ。
この事件で最初の変化は、おそらく英国でPost Officeが自ら起訴するという旧式の慣行をやめることになりそうだ。
前のチームでは、glitchという言葉の使用を禁止していた。
開発者やプロダクト責任者が顧客に話すとき、「自分が責任を負いたくないバグ」をひとまとめに呼ぶ言葉として使われており、現代の技術チームに居場所はない。
以前はStack Overflowの回答を会社のコードベースにコピペして、「動く」まで粘るようなことがあり、問題が起きると数週間から数か月にわたって一人の手元にあり、その後別の人へ渡されがちだった。
たいていは簡単な出力文を入れるだけでも修正の手がかりを得られるのに、それすら複雑すぎる作業と見なされていた。
ソフトウェアが金を稼ぐようになると、開発コストを削り、経験の浅い安いエンジニアを雇い、「TDDは時間の無駄」だとして手順を省略する誘因がさらに強くなる。
英国政府は大手コンサルティング会社に依存しきっており、彼らは公共部門で高額な半端なプロジェクトを納品するか、そもそも納品できないまま、安く経験不足の人員を投入して残りを懐に入れてきた。
そうした契約を調査しようとする組織はない。
オーストラリアで起きたRobodebt制度と非常によく似ており、同じように破壊的な結果をもたらした: https://en.wikipedia.org/wiki/Robodebt_scheme
自動債務回収通知を受け取った福祉受給者が自殺し、死亡者に債務通知が送られ、障害年金受給者にも債務通知が送られた。
WikipediaではこうしたものをAlgocracy、つまりアルゴリズムによる統治と呼ぶようだ。
当時の政府に有利な結果を示唆していたためで、個人に債務が誤っていることを反証する責任を負わせつつ、要求事項は途方もなく、支援や異議申し立ての手続きはほとんどなかった。
当時政権にあったLiberal & National Partyは、福祉詐欺師に厳しいというイメージを作って選挙に利用し、実際には存在しない巨額の潜在収入源を次の予算に盛り込みたがっていた。
多くの誤算は、2週間または複数の2週間単位の所得を平均して年収に外挿した結果だったが、福祉受給者には臨時職や短期の仕事が多く、その期間が年収を代表しない状況では、完全に誤った方法だ。
場合によっては、債務者とされた人が債権回収業者からの督促状を受け取って初めて知ることもあった。
個人が訴訟を起こすと、政府は債務を0.00ドルに引き下げたうえで、もはや訴訟の理由がないと主張して事件を取り下げさせた。
最終的に、ある人物を代理した弁護士たちが誤って課された債務に対する利息まで請求したことで、同じ戦術では勝てなくなり、その時になってようやく政府は数年にわたって続いた制度の違法性を認めた。
全体の文脈を理解するには、この3部構成のYouTubeシリーズを勧める: https://www.youtube.com/watch?v=OfsL9GAbl3M
冒頭から、オーストラリア史上最大規模の集団訴訟につながったと説明している。
現在ではソフトウェアが真実のように受け止められているが、常にそうだったわけではない
AIが大きな注目を集めているのは幸いで、人々はその判断が誤り得ることをより認識するようになっているようだ
法廷では、ソフトウェアの判断について、データと意思決定の経路、つまり「アルゴリズム」を開示するよう求めるべきだ
もう一つ必要な法律は、システム利用の禁止に関するものだ
説明も救済手段もなく生涯にわたってブロックされ得るというのは狂気の沙汰で、実質的には理由もなく終身刑を受けるのに近い