- ある情報公開請求者は、2017年の
seattle.gov メールについて送信者・受信者・参照・時刻・日付といった メタデータ のみを求めていたが、シアトル市は約 3,200万件のメール について、各メールの先頭256文字まで含むファイルを提供してしまった
- Seattle IT は当初、確認作業に 職員320年分 と給与3,300万ドルが必要だと見積もっていたが、その後、本文のないメタデータなので確認は不要だとして、最初の分割分の費用を1.25ドルまで引き下げた
- 公開記録ポータルに掲載された約400個のファイルには、ユーザー名・パスワード、クレジットカード番号、社会保障番号、運転免許証、警察・FBIの捜査情報、Zabbix アラートなどの 機微情報 が混在していた
- 請求者が問題を知らせると、Seattle は GovQA へのアクセスを一時停止し、修正版を再処理すると説明し、その後ファイル削除と Kroll によるハードディスクスキャン、法的免責条件を提示した
- 最終的に請求者はファイルを削除し、陳述書の提出とディスク消去対応を行い、Seattle は2018年1月26日から当初求められていたメタデータの分割提供を開始し、執筆時点で 2,700万件 を引き渡した
情報公開請求の出発点
- 請求者は、シカゴ市長室の電話とメールのメタデータを請求した経験を受け、同様の問題が米国各地で システム的に 発生しているかを確認し、コミュニケーション構造をマッピングするために情報公開請求を拡大した
- 全米でメールメタデータの請求を100件以上提出し、各州で少なくとも2件ずつ請求した
- 最初の大規模バッチは、任意に選んだ14州の最大都市に送られ、最後まで請求を進めようとしたのは Houston と Seattle だけだった
- Houston は比較的早く応答し、600万件のメールメタデータを郵送で送ってきた
- Seattle への請求は、その後はるかに複雑な出来事へと発展した
Seattle に送った当初の請求
- 2017年4月2日、請求者は Seattle IT 部門に対し、2017年中に Seattle 所有のメールアドレス間で送受信されたすべてのメールの メタデータ を請求した
- From address
- To address
- bcc addresses
- cc addresses
- Time
- Date
- 請求者は、技術的には1行の PowerShell コマンドで処理可能な請求だと考えたが、方針面では通常強い反発を招く類いの請求だと見ていた
- Seattle の最初の回答では、直近90日間で
seattle.gov アドレスが送信したメールが550万件、受信したメールが2,680万件あり、共有前に確認すべき記録が非常に多いと案内された
- 請求者は、本文ではなくメタデータのみを求めているため、確認量は相対的に小さいはずだとして、約 3,200万件 全体の請求を維持した
3,300万ドルの費用見積もり
- Seattle は請求内容を書き直す過程で、元の範囲を変えたように見える文言を使った
- 元の請求はメタデータに限定されていたが、書き換え後の文言はメール 内容 まで含む範囲のように見えた
- 請求者は、なぜそのように変わったのか分からないと述べている
- Seattle IT は、メール1件あたり30秒から2分の確認が必要で、全体で約 職員320年分 と給与3,300万ドルがかかる可能性があると見積もった
- 請求者は、大規模な情報公開請求は通常「過度に負担が大きい」として拒否されることが多いが、この規模の費用見積もりは非常にまれだと評価した
- 保存コストも別途提示された
- Seattle は請求データが8〜10TBになる可能性があり、FTP サーバーを立ててダウンロードさせることができると見ていた
- 内部コストモデルに基づき、年間2,480ドルと GB あたり2.11ドルを請求でき、10TBなら年間 21,606.40ドル が必要だと計算した
- 請求者は、Houston のメールメタデータダンプが1.2GBだったことと、当時 Seattle が情報公開請求データの保存に Amazon S3 を使っていた点を対比させた
- 当時の S3 料金は GB あたり0.023ドルだった
- Seattle は請求をすぐには閉じず、引き続き進めるか確認し、請求者は5月29日に受け取れる記録数を尋ねたが回答はなかった
費用見積もり撤回と1.25ドルの初回分
- 6月5日、Seattle は当初の費用見積もりが誤っていたと認め、3か月分のうち1月1日と2日の2日分の記録について、最初の分割分の費用として 1.25ドル を求めた
- 提供ファイルはメール本文を含まない、請求されたメタデータだけの Excel スプレッドシートであり、確認は不要なので、先に述べた320年よりも早く提供できると案内した
- 請求者は、2日分ごとに単独の小切手を要求する方式を、請求を意図的に難しくするものと解釈し、あらかじめ14枚の小切手を送った
- 最初の13枚はそれぞれ約1.25ドルだった
- その後 Seattle は追加の単独決済を求めなかった
- 2か月間大きな動きはなく、Seattle はすべての小切手を換金した後、公開記録ポータルのアカウントを作成した
GovQA ポータルで明らかになった大規模漏えい
- 8月22日、請求者は当該メールアカウントを携帯電話に再追加した際、請求が完了していたことを確認した
- Seattle の情報公開請求ポータルでは約 400個のファイル がダウンロード可能で、全体として約3,200万件のメールのメタデータが含まれていた
- 最大の問題は、すべてのメールについて先頭 256文字 も一緒に含まれていたことだった
- ファイルには次の情報が混在していた
- ユーザー名とパスワード
- クレジットカード番号
- 社会保障番号と運転免許証
- 進行中の警察捜査と逮捕報告書
- 不倫に関するメッセージ内容
- FBI の捜査
- Zabbix アラート
- 請求者は、このデータが非常に私的な情報で埋め尽くされた大規模データセットであり、Privacy Act of 1974 やワシントン州の公開記録関連法を含む複数の法律に違反している可能性が高いと見た
- 正確な原因を知るのは難しいが、請求文面の書き換えと、元の公開記録担当者の休暇が重なり、コミュニケーションが破綻した可能性を示した
問題提起と Seattle の初期対応
- 請求者は、Seattle が自らミスに気づくことを期待しつつ、提供記録が当初の請求と一致せず、請求よりはるかに多くの情報を含んでいるので再確認してほしいと返答した
- Seattle は、請求された情報はレポートの特定列にあり、システムレポートで生成された記録のため、請求されたフィールドのみに限定することはできないと答えた
- From address は J列
- To address は K列
- bcc address は M列
- cc address は L列
- Time and date は R列
- Seattle は、存在しない記録を新たに作成する義務はなく、請求への応答としてすべての記録を提供したため、請求を終了すると見なしていた
- 請求者が漏えい情報の具体例を示し、Washington Office of Privacy and Data Protection に問題提起すると伝えると、Seattle はこれを 不注意による誤り と認めた
- Seattle は原因調査のため GovQA へのアクセスを一時停止し、修正した記録を翌週 GovQA を通じて提供すると通知した
- 同時に請求者へ、その記録を確認・共有・複製・使用しないよう求めた
CTO・Chief Privacy Officer との通話
- その後、請求者は Seattle Open Data Slack の関係者を通じて、Seattle の CTO と Chief Privacy Officer が参加するカンファレンスコールに加わった
- 通話では、何が起きたのか、そして記録をどう扱うべきかが議論された
- 請求者がメールを保持していてよいか尋ねている途中でインターネット接続が切れ、約10分後に再接続したときには通話の雰囲気が変わっていたという
- Seattle は次の条件を提示した
- すべてのファイルを削除すること
- Kroll を雇い、ハードディスクをスキャンして削除を証明すること
- 1と2に同意すれば完全な法的免責を提供すること
- 請求者はこれに同意せず、その後は弁護士同士で話すことになった
法的圧力と削除確認
- 通話後、請求者の弁護士が Seattle 側弁護士と連絡を取り、Seattle は Computer Fraud and Abuse Act 関連の告発を検討する形で対応しているようだったという
- 請求者は、Seattle 自身が送ってきた情報なのにそのように扱われた状況を問題視し、最終的にファイルを削除した
- その後約1か月間、議論の大半は双方の弁護士の間で進められた
- 請求者は、経緯、ファイル削除の方法、削除検証を説明する 陳述書 を提案した
- Seattle は陳述書には概ね同意したが、未使用ディスク領域をランダムビットで上書きする bash script の実行など、追加の保証措置を求めた
- 請求者は最終的に
zerofree と fstrim を実行し、Seattle は陳述書を受理した
- その後、法的脅しはそれ以上続かなかった
外部報道と Seattle の通知
- 通話から約1週間後、ある Seattle 市職員がこの件を Seattle の KIRO7 に内部告発した
- KIRO7 の調査で、Seattle がまだ漏えい事実を通知していなかったことが明らかになり、これはワシントン州の公開記録請求法上必要な対応だった
- KIRO7 の調査後になって初めて、Seattle は職員にメール漏えいを通知した
- 関連報道は KIRO7 の記事 に掲載された
- 1週間後、Crosscut の記事 が Seattle IT 部門の経緯まで含めてより詳しく扱った
- 1月19日には Seattle CTO の Michael Mattmiller が辞任しており、請求者は辞任がメール漏えいと関係するかは不明だが、時期的には言及に値すると見ている
最終的なメタデータ提供
- 2018年1月26日から、Seattle は当初求められていたメールメタデータの分割提供を開始した
- 執筆時点で 2,700万件 のメールメタデータが提供されている
- まだメタデータを提供していない部門は Police Department と Human Services の2つである
- 生データは Kaggle データセット から入手できる
- データセットには、処理や分析を難しくする要素が残っている
- triple quotes、セミコロン、カンマなどが混在して非常に汚い
- システム通知が数百万件含まれている
seattle.gov 間の通信には、互いに異なる2つのメタデータ記録がある
- 請求者は、このデータを公開記録法の文脈で活用する概念実証に取り組んでおり、1日分のメタデータを Gephi で可視化した
- レイアウトは Yifan Hu
- k-core 最小値5、最小 degree 5 でフィルタした
- ネットワークモデリングを手伝える人は連絡してほしいと求めている
ワシントン州の立法論争とその後の計画
- 2月23日、最初のメタデータ分割分と2回目の分割分の間に、ワシントン州議会は SB6617 を通そうとした
- SB6617 は、メールのやり取りを含む複数の記録について、ワシントン州の公開記録法から開示義務を除外する法案だった
- この法案は初回朗読の後24時間も経たないうちに上下両院を通過し、知事室へ送られた
- Seattle Times は関連内容を 記事 で報じた
- ワシントン州知事室には6,300件超の電話、100通の手紙、1万2,500件超のメールが寄せられ、知事は最終的に法案を拒否した
- 請求者がこの論争がメタデータ分割分の遅延と関係しているのか尋ねると、Seattle は無関係であり、進行を妨げていたバグを修正したのでその週に追加記録を送ると答えた
- 1か月後、Seattle は残りの分割分の送付を始めた
- 請求者は複数都市のメールメタデータをさらに収集しており、今後は情報公開請求の基本とデジタル記録請求についてさらに書く予定だという
- 次の記事では、2017年1月のメールメタデータをめぐって White House OMB を相手取って進行中の訴訟を扱う予定で、初回の期日には被告側弁護士が出廷しなかったとしている
1件のコメント
Hacker Newsの意見
この話で最も興味深い部分は、誤って公開された記録を保有し続けることの法的リスクである。
投稿者が市に「思っていたよりはるかに機微な情報を公開している」と知らせていなければ、市はおそらくその誤りに永遠に気づかず、投稿者はそのデータで望むことができたかもしれない。
しかし知らせた瞬間、市はアクセス権を持つべきでない人物の手にデータが渡った事実を知ることになり、彼にそのデータを保有する権利があるのかという法的な問題が生じる。
物理的な財産や金銭であれば、明らかなミスで受け取った物をどう扱うべきかについて判例は多い。自動車ディーラーが新車を誤った住所に置いていき、後から本来は別の住所だったと分かった場合、その車を自分のものにはできないし、銀行口座に10万ドルが誤って入金されても回収される。
ではデータ、つまり情報はどうだろうか。営業秘密のように、特定のデータカテゴリについては保有しないよう命じられ得るという法的論拠はかなりあると思う。
だから、この状況を作ったのが市の大失態だったとしても、投稿者が市の要請に協力することにしたのは正しい判断に見える。ただし市が問題を知らせてくれたことに報いるどころか、自分たちのミスの後始末に協力しなければ脅すような態度を取ろうとしたのは残念だ。
https://about.usps.com/publications/pub300a/pub300a_v04_revi...
https://faq.usps.com/s/article/What-Options-Do-I-Have-Regard...
誤配された物を受け取った場合についての追加の議論もある。
https://law.stackexchange.com/questions/17533/if-a-retailer-...
知らせた後の扱いも良くなかったと思うなら、知らせなかった場合にどれほどひどくなっていたか想像すればいい。
それに、彼がそのデータで望むことを自由にできたという結論も必ずしも導かれない。追加のデータを公開していたら、大きなトラブルに巻き込まれていた可能性が高い。
今でも結局データが削除されたという点は、彼が署名した陳述書をある程度信じるしかない状態だ。
そのため、誤って受け取った記録を保有し続けたという理由で起訴できる明確な法体系があるかは曖昧だ。物理的な財産や、著作権が認められる一部のデータなら別の問題だ。
政府のITは高額なことで有名で、惨事になっている場合も多い。最近、地域の機関でアカウントを作る必要があったのだが、Webフォームの日付入力欄2つが互いに異なる形式を要求していることを試行錯誤で突き止めた。
結局ログイン情報は受け取ったが動作せず、パスワードの問題だろうと思ってリセットを押したら404エラーが出た。
担当者はとても丁寧だったが、機関側で3回もリセットしてようやくログインできた。
民間企業がこんな問題を抱えていたら潰れていたはずだ。政府はおそらく、また別の無能な人を雇い、その人は終身雇用を手に入れるのだろう。
もちろん、その外注先にきちんと責任を負わせる方法はないのだろう。
だから政府ITはあまり良くないのだ。働くにはひどい環境で、報酬も民間部門に比べて良くない。
以前、オープンデータ分野で多く働いており、大都市政府のオープンデータ部門で働いたこともある。
こうした行為は、その大義にまったく役立たない。オープンデータや情報公開請求は時間とリソースの膨大な無駄で、たいした理由もなく法的リスクを開くだけだ、という信念を強めるだけだ。
政府のメールメタデータを正当なオープンデータだと考えるのも、かなり驚きだ。自分が政府に何度メールを送り、返事を受け取ったか、どの部署とやり取りしたかが公開されるべきだと思うだろうか。私はそうは思わない。
彼らがあなたのメタデータを持つのはよいが、あなたが彼らのメタデータを持つのはだめだと言うなら、奇妙な非対称性になる。
完全な鏡像ではないが、OPがこのメタデータの強力さを示し、双方ともこの種のメタデータを収集すべきではないと訴えるなら、このような情報公開請求の正当な使い道の一つは思いつく。
こういうことは常に起きる。さらに悪いのは、上層部、たとえば最高データ責任者（CDO）が、法務チームのせいで報道機関や隣接組織と接触できないことも多い点だ。実際にCDOから「あなたとは話せない」と言われたことがある。
オープンデータについて私がよく使う表現は「オープンデータは嘘」だ。結局、オープンデータセットとして提供されたものが列と行の両方で完全かどうかを検証する法的手段がまったくないからだ。
情報が欠けているのか、なぜ欠けているのかさえ説明されることは非常にまれだ。その結果、市民は実際の状況を深く誤解することになり、かなりの数は、市民がデータを誤解するのを恐れて意図的にそうしている。
だから結局FOIAに行き、法廷闘争にまで至る。私がFOIA訴訟を約10件も起こさなければならなかった理由がある。
要するにオープンデータは良いものだが、厳密性と説明責任が不足しているため、深さが必要な仕事には実質的に使い物にならない。
メタデータと内容の両方が含まれ、公開されたくない機微な内容は入れないよう案内される。
面白く読んだ。
反対側でシステム管理者として働いたことがある立場からすると、彼の最初の依頼がどう受け止められたかはほぼ想像がつく。
よくあるように、依頼の一部だけを読んで、その規模にうろたえたのだろう。そこで頭の中では、彼が過剰な情報を求めていると思い込み、誤った前提のもとで数日間、給水機の前でその人を笑いものにしていた可能性が高い。
結局、誰かが誤解に気づき、メールヘッダーをパースする代わりに、ハードコードされた値から切り出したヘッダーを出力するという致命的なミスをしたのだと思う。
そして彼がこの問題を指摘してから、ようやく彼を真剣に扱い始めたのだろう。
すべての依頼にIT組織が無条件に屈すべきだとか、実際の虐待を受けても礼儀正しくあるべきだと期待しているわけではない。
しかし、給水機の前で交わされる有害な陰口はそういうものではない。文字どおり人々の知性を侮辱したり、特にユーザーに対して権力を行使している状況で、人々の苦しみを楽しんだりすることだ。
うちの郡の評価官が、公的データが欲しいと言ったという理由で警察を呼ぶと脅してきたことを思い出す。
記録の複製費用だけを請求すべき資料について、数千ドル余計に請求しようともしていたし、ほかにもいろいろあった。
公的機関を相手にするのは本当に楽しいものだ。
欧州では、このような請求は人に関する情報、つまり誰が誰と、どの日付・時刻に連絡したかを結び付けるものです
これを保存すること、まして処理することは、知る必要がある場合に限って許されます
Seattleの代理として行動する公務員はもはや個人ではない、と言い張るだけでもすでに無理のある解釈ですが、その場合でさえ、Seattle政府ドメイン外のすべてのメールアドレスは、裁判所命令と理由、そして犯罪捜査官であるという条件なしには完全に立ち入り禁止の領域です
ああ、プライバシー保護よ
そして自治体は個人情報をいつも平然と公開します。個人の住所や市内の不動産所有者は公開記録の対象であり、市は要求する誰に対しても名前と住所を渡すことに大した問題を感じません
メールアドレスはそれよりはるかにリスクが低いです
市民が政府のしていることを確認できるべきだ、というのは筋が通っています。残念ながら政府はあまりにも多くを記録しており、むしろ記録しないでほしいし、その記録が公開対象でなければなおよい、と思うこともあります
この請求がひどいと思うなら、LexisNexisの歴史を調べてみるとよいです。彼らの中核事業はデータを請求して1つのデータベースに集め、米国政府がぼんやりとでも把握している誰についてでも身元調査できるようにすることです
以前、masscorruptionというサイトもありました。Massachusettsのある郡政府に執着していた人物が運営していたと記憶しています。彼は政府のデスクトップにあるすべての画像ファイルについてFOIA請求を出し、実際に入手し、政府のコンピューターに保存されるべきではなかった職員の私的な画像を公開しました
私の職場では、宛先欄に政府職員を入れるたびに、作成中のメッセージがFOIAの対象になり得るというバナーがOutlookに表示されます。特に地方政府では、何をきっかけに人々が動き、何に関心を持つのか本当に分かりません
筆者は「メタデータ」をまったく違うものとして見ているようです
私の観点でメタデータと言うなら、「メールのおおよその件数」、可能なら「アドレスブロック」、「大まかに平均した時間帯」、ひょっとすると「非常に曖昧なカテゴリ」くらいです
誰が送り、誰に届き、BccとCcが誰だったかは、私の基準でいうメタデータとは違います
法律により、すべての行動とコミュニケーションの記録を保持しなければならず、誰でもそれを閲覧できます
厳密に言えば、政府のリソースを私的なコミュニケーションに使ってはいけませんし、法的にも私的なコミュニケーション手段を公務に使ってはいけません
記事の本筋とは別に本当に気になるのですが、「自分の弁護士」をすぐ呼べる人はそんなに多いのでしょうか？
記事では、Seattleが自分たちの送った情報についてComputer Fraud And Abuse Act（CFAA）違反を追及するような姿勢だったので、筆者が弁護士に相手方の弁護士と連絡させた、とされています
私の知る管轄では、請求を拒否されたり、不当だと思う手数料を求められたりした場合、訴訟が事実上の主要な救済手段だからです
疑わしいときは、自分の状況を知っている人に引き続き頼むほうがよいですし
たとえば以前の賃貸住宅でいくつか問題があり、その過程で借家人保護協会であるMieterschutzbundに加入しました。これにより協会の専門家に1時間相談でき、借家法専門の弁護士にも1〜2時間相談できます
この手続きは通常1〜2日しかかからないので、私は実質的に賃貸借弁護士を待機させているようなものです
その代わり、私はその友人宅のアルミ配線の電気を直しました
アーカイブ版: https://web.archive.org/web/20231024164822/https://mchap.io/...
2017年にSeattle所有のメールアドレスでやり取りされたすべてのメールについて、次の情報を提供せよという請求は、本当に政府が応じるべき合理的な請求なのでしょうか？
これは政府職員と、その相手方の私的な情報をかなり多く露出させるのではないでしょうか？ 記事と法律はこれを完全に普通のこととして受け止めているようですが、私には非常に奇妙に見えます
たとえば、人々がオフィスに出入りする正確な時刻、全職員の休暇情報、組織図やチーム区分では説明されない親密さや関係、犯罪捜査に関する手がかりまで明らかになり得ます
これほど多くのことを推測できるなら、これを本当にメタデータと呼んでよいのか疑問です
邪魔ばかりする書類担当者？ います。コンピューター音痴？ います。自分のミスを請求者のせいにする？ います。これらすべてが合わさると？ 値段は付けられません