「Have I Been Pwned」の10年の歴史

 (troyhunt.com)
1 ポイント 投稿者 GN⁺ 2023-12-05 | 1件のコメント | WhatsAppで共有
  • Troy Huntが2013年12月4日に公開した Have I Been Pwned(HIBP) は、メールアドレスで漏えい有無を確認する個人プロジェクトとして始まり、10年後には個人・企業・政府が依存するセキュリティインフラになった
  • 平凡な.comドメインを確保しにくく、長く続くプロジェクトになるとも思っていなかった中での選択だったが、pwnedという単語はいまやHIBPと強く結び付いている
  • メディア露出、米議会での証言、FBI・英国NCAなど法執行機関との協力、Pwned Passwords の公開を経て、HIBPの役割は単なる検索サイトを超えるものになった
  • 2019年の売却検討プロジェクト Project Svalbard は、個人的なストレスとサービス依存性の問題の中で進められたが頓挫し、Huntは独立性が自分にとって重要だと再確認した
  • 今後も漏えいは増え続けると見られ、HIBPはより公式な運営体制へ移行しつつも、Huntが望まない大組織化や重い負担は避けようとしている

小さなプロジェクトから10年ものインフラへ

  • 2013年12月4日、Troy Huntは「Have I Been Pwned?」が動き始めたというツイートでサービスを公開した
  • 翌日には 1億5,400万件 のレコードを高速に検索できるようにした方法をブログで公開し、HIBPタグの付いた記事は10周年記事までで 185本 に達している
  • 10周年の回顧では、サービスの構築方法、運営上の判断、さまざまな侵害事件、そしてこれまで公に語ってこなかった一部の経験も扱っている

なぜ「Pwned」だったのか

  • 名前選びには、ありふれた英語名では .com ドメインを取りにくいという現実があり、このプロジェクトが長く続くという期待も大きくはなかった
  • 「pwned」は次第にHIBPと同義語のように結び付くようになり、多くの人にとってこの単語は「Have I Been...」という文脈で初めて触れる表現になった
  • オンラインで「pwned」の意味を説明する資料にも、2013年にHuntが作ったHIBPが例として登場する
  • 名前はしばしば誤って発音されたりタイプミスされたりするため、Huntはいくつもの派生ドメインを保有するようになった
    • haveibeenpaened.com
    • haveibeenpwnded.com
    • haveibeenporned.com
    • haveibeenprawned.com
    • haveibeenburned.com
    • haveigotpwned.com
    • haveibeenrekt.com
    • haveibeenfucked.com

メディア露出とトラフィックの衝撃

  • HIBPは、データ漏えいが主要ニュースになるたびに「被害有無を確認する場所」としてしばしば言及される
  • メディア露出は認知度を高めた一方で、2016年に英国の Martin Lewis Money Show で取り上げられた後には、サービスがオフラインになるほどのトラフィックを引き起こした
    • Huntはこの経験から、大規模なトラフィック急増に対処する教訓を得て、同じことが再び起きないよう対策した
  • 2018年、GizmodoはHIBPをWikipedia、Google、Amazonなどと並んで「インターネットを形作った100のウェブサイト」の1つに選んだ
  • 2014年にはTIMEがHIBPをその年の 50のウェブサイト の1つに選出した
  • The Wall Street Journal、The Standard、USA Today、Toronto Star、De Telegraaf、VG、Le Monde、Corriere della Seraなど、多くの主要メディアにもHIBPが登場している

米議会での証言

  • Huntは約6年前、米国 Congress でデータ漏えいが本人確認に与える影響について証言した
  • 公開公聴会だったため、証言映像 が記録として残っている
  • 議員たちの質問に答えたこの経験は、Huntのキャリアの中でも最も記憶に残る瞬間の1つになっている
  • 当時の写真はいまも彼のオフィスの外の壁に飾られており、HIBPがどのようにそこまでたどり着いたのかを思い起こさせ続けている

Project Svalbardと売却頓挫

  • 2019年6月、HuntはHIBP売却の可能性を Project Svalbard という名で公開した
  • 当時その決断の大きな理由の1つは ストレス であり、1年以上後になってそのストレスの重要な原因が離婚だったと明かしている
  • 関係の問題は大きな圧力を生み、Huntは愛しているが要求が増え続けるこのプロジェクトを売却することが、逃げ道になり得ると考えた
  • Project Svalbardはかえって元配偶者との法的紛争につながり、売却されていれば実現したであろう価値が争点の一部になった
  • サンフランシスコの複数のテック企業と買収の可能性を話し合っていた最中、ある候補先の新しい上司候補から「理想的なオフィスでの1日」とは何かを尋ねられ、Huntは自分にとって独立性がどれほど重要かを悟った
  • 6か月後、Project Svalbardは成立していた取引が流れたことで終了した
    • 正確な事情はNDAのため話せず、公に使った表現は「買い手側の事業環境の変化」だった
    • Huntは振り返れば多くを失ったが、その結果には非常に安堵しているとしている

FBI、NCA、法執行機関との協力

  • 10年前のHuntにとって、FBIがHIBPと公に結び付くような状況は予想外だった
  • FBIはHIBPにデータを提供しており、英国の NCA や世界中の複数の法執行機関もデータを提供している
  • 複数の国の政府も、HIBPの利用を公に語るようになった
  • ABCは2023年9月、HIBPとHuntの役割を「時代の奇妙な兆候」として取り上げ、「ウェブ上の1人」がグローバルなサイバーセキュリティで妙に中心的な役割を担うようになったと評した
  • HIBPの目的は「悪いことが起きた後で良いことをする」ことであり、人々を守ろうとする法執行機関の目的とも通じている
  • Huntは10年前には、法執行機関が民間企業と協力して人々を守ることが多いとは理解していなかったが、いまでは複数機関の人々と生産的な関係を築いている

Pwned Passwordsの成長

  • HIBPに当初からパスワードを入れる計画はなく、Huntはユーザー名の隣にパスワードが表示される状況は避けるべきだと考えていた
  • ただし、個人情報と切り離された 漏えいパスワード一覧 は、侵害データを良い目的に活用する方法になり得ると判断した
  • 2017年、Pwned Passwords が公開された
  • 2023年9月には、Pwned Passwordsは1日 2億8,200万リクエスト を記録し、30日累計では 60億件 を超えた
  • 回顧時点の最新統計では、ある週に1日 3億160万リクエスト を処理し、そのリクエストの 100.0000000000% がCloudflareキャッシュから提供された
  • このサービスは無料で、認証も不要であり、コードとデータの両方がオープンソースで、FBIがデータを提供している
  • Huntは、大規模オンラインサービスのクレデンシャルスタッフィング攻撃で乗っ取られるアカウントのかなりの数が、防げたはずのパスワードを使っていると見ている

侵害データ処理の逆説

  • HIBPは、犯罪の産物である漏えいデータを扱いながら、同時に公益を果たそうとするサービスという 逆説 を抱えている
  • 一部の人は盗難データを保持していることを理由にFBIへ通報すると言うが、HuntはすでにFBIと協力している
  • 個人情報保護法、特にEUとGDPRを根拠に、「同意なくデータを処理している」という批判もあった
  • Huntは、データ漏えいに含まれること自体に誰も同意しておらず、漏えい事件そのものとHIBPがそれを索引化して検索可能にすることは別の議論だと考えている
  • 10年間で苦情は概して少なく、年間件数は片手で数えられる程度だった
  • 政府の個人情報規制当局を通じて寄せられた公式の苦情は10年間で 1件 だけで、Huntが質問に答えた後に終了した

人と運営体制

  • HIBPは当初、Huntが1人で時間を投じる趣味のプロジェクトだった
  • 初期作業には、サービス構築、侵害データの確保、検証、公開、説明文の作成、700個以上のロゴ の手作業での編集が含まれていた
  • いまでは多くの個人、企業、政府が依存するインターネットの重要な一部となり、Hunt1人に依存する問題が大きくなっている
  • 2019年に売却を検討した背景にも、「Hunt1人だけに依存する構造」が一部あった
  • 一般企業のように人を雇って拡大する選択肢もあったが、Huntは雇用契約、給与交渉、評価、病欠や有給休暇といった責任に魅力を感じていない

  • Charlotteの役割

    • 2021年初め、のちに妻となる Charlotte がHIBPで働き始めた
    • Charlotteはノルウェー拠点のNDCカンファレンスでプロジェクトマネージャーを8年間務め、ソフトウェア開発者、登壇者、参加者、スポンサー、企業参加者に対応してきた
    • 技術担当ではないが、PRと起業関連の学位を持ち、HIBPが属する技術の世界にも慣れていた
    • Charlotteは企業サブスクライバーのオンボーディング、APIとドメイン購読者のサポートチケット、会計と税務を担当している

  • Stefán Jökull Sigurðarsonの役割

    • 2023年初め、Stefán Jökull Sigurðarson がパートタイムで加わり、コード作成、整理、移行などのさまざまな開発作業を担当している
    • StefánはHIBP公開時からこのサービスを見守っており、2018年初めにはEVEでPwnedPasswords v2 APIの初期の大規模統合の1つを開発した
    • 彼はHIBPが、自身の公開登壇キャリア、オープンソースへの貢献、MVPとしての役割、そしてより安全なインターネットに貢献する歩みの一部になったと見ている
    • Huntは、StefánにとってHIBPが単なる仕事ではなく情熱である点を重要だと考えている

記憶に残る侵害事例

  • 10年間でHIBPに含まれた侵害は 731件 に達している

  • Ashley Madison

    • 2015年の事件はHIBPの利用量に大きな影響を与え、Huntが被害者たちと交わしたやり取りにも深い爪痕を残した
    • Ashley Madison会員がHuntに語ったこと は、いまでも読むのがつらい記事として残っている

  • Collection #1

    • 2019年初め、Huntのストレスを大きく高め、サービス売却を検討する決断にも深く影響した
    • 7億7,300万件 で、回顧時点までHIBPで最大の侵害である

  • Rosebutt

    • 深刻なデータ漏えいでも、ときに滑稽な瞬間を生むことがあると示した事例である

  • Shit Express

    • 匿名で排泄物の切れ端を送るサイトが侵害され、その匿名性が揺らいだ事例である
    • Huntはその後、匿名性の主張 がしばしば大きな誤解を招くと書いている

今後の方向性

  • Huntの日常は、朝にメールと夜間の出来事を確認した後、その日に求められることに合わせて動く形に近い
  • こうした運営スタイルは、HIBPをより大きな責任を持つ組織へと拡大したくない理由にもつながっている
  • 同時にHIBPは徐々により 公式化 されつつある
    • 3年前はHuntが100%すべてを自分でこなしていた
    • 1年前は技術業務をすべて自分で担っていた
    • 6か月前まではサポート用チケットシステムもなかった
  • HuntはHIBPが自分より長く続いてほしいと願う一方で、その過程で自分を縛る重荷にはなってほしくないと考えている
  • 今後もさらに多くの侵害が発生すると見ており、最近は特にランサムウェアが急速に増えているように感じるという
  • ランサムウェアによって公開されるメール、文書、各種データの中にいる人々が、自分の露出を認識できているのかには疑問が残る
  • そうしたデータを索引化する作業はさまざまな理由で簡単ではないが、ますます価値のある取り組みに見えるとしている

関連記事

1件のコメント

 
GN⁺ 2023-12-05
Hacker News のコメント

  • Troy Hunt は本当に貴重な存在で、Web アプリケーション開発者なら クレデンシャルスタッフィング対策をしない言い訳はない
    最善策はおそらく二要素認証だろうが[1]、Hunt のハッシュ化されたパスワードデータベースと照合することも、ユーザーに追加の負担をかけずにかなり有効な防御になる
    根拠資料があるわけではないが、侵害されたアカウントの圧倒的多数はクレデンシャルスタッフィングやパスワードの使い回しに由来すると思う。大企業がこうしたチェックをしていないと聞くと驚くし、設定も単純なので 1 日ほどでできる
    若い CTO や初期の Web アプリのエンジニアなら、いつか午前 1 時に電話が鳴り止まず、サイトが攻撃を受け、最初は DDoS だと思ったものの、そのほとんどがログインページに集中していると気づき、その一部が実際にログインに成功している事実にぞっとすることがあるかもしれない。その後は徹夜で対応し、侵害通知もしなければならず、本当に苦痛だ
    Troy Hunt の無料データベースがおそらくその苦痛を減らしてくれるので、とにかくやった方がいい

    1. https://cheatsheetseries.owasp.org/cheatsheets/Credential_St...
    2. 23andMe のようなケース。 https://news.ycombinator.com/item?id=37794379
    • 10 年ほど前、FBI 職員が発表していたイベントで、あるシステム管理者が会社の ハッシュ化されたパスワードデータベースを持ち出して既知の流出ハッシュと照合し、使い回されたパスワードを使っていた従業員に強制リセットと案内メールを送ったところ逮捕された、という話を聞いた
      ある従業員がその行為をプライバシー侵害だと激怒し、誰が法的措置を始めたのかは覚えていないが、FBI 職員と判事は、システム管理者にセキュリティ改善の意図があったとしても、自分が管理するパスワードハッシュにアクセスした行為自体を犯罪的なプライバシー侵害と見なした、という結論だった
      その FBI 職員の作り話でないなら、従業員のパスワードハッシュが haveibeenpwned にあるか検査する前に 法務チームのレビューを通すのが慎重に見える
    • 二要素認証に加えて、ログインエンドポイントに レート制限を IP アドレスとユーザー名の基準でかける方が、この攻撃にははるかに堅牢な防御になる
      例えば直近 1 分間に同じ IP または同じユーザー名でログイン失敗が 20 回あれば、その IP またはユーザー名を 15 分間ブロックする、といった具合だ。多くの API ゲートウェイや K8s Ingress などが非常に簡単に対応しているし、そうでなくても Redis などに直近のログイン試行回数を保存すれば、数行のコードで追加できる
      HIBP データベースとの照合も良い選択肢だが、この攻撃を防ぐにはレート制限の方がはるかに効果的だ
    • 手順がよく理解できない。データベースにハッシュ化されたパスワードが入っているなら、自分のサイトとそのデータベースが同じ ソルトとハッシュ方式を使っていると、どうやって分かるのか？
      例えば Tumblr がハッキングされて自分のパスワード hunter2 が流出したとしても、Tumblr はソルト付きの単純な HMAC-MD5 を使っていて、自分のサイトは当然別のソルトを使う argon2 を使っているなら、同じパスワードでも結果のハッシュは異なるはずだ。これがクレデンシャルスタッフィング防止にどう有効なのか分からない
    • 新しいログイン/認証を一から作っているなら、パスワードを受け取ってデータベースに保存しない方がいい
      ソーシャル OAuth、SSO、マジックリンクメールを設定して、他人の問題にしてしまう方がよい
    • ユーザーがパスワードを 1234 にすることに、なぜ罪悪感を覚えるべきなのか分からない
      脆弱な人々を対象にするサイトでないなら、それはユーザーの責任だと思う。他のコメントにもあるように、こうしたユーザーはおそらく 1234ウェブサイト名 のような最も簡単な方法でエラーを回避する可能性が高い
      パスワード入力欄にどんな制限を追加しても エントロピーを減らし、たとえわずかであっても全員の安全性を下げると思う

  • このサイトは以前は素晴らしい体験を提供していた記憶があるが、今では流出アカウント 100 件を見るために 年 169.50 ドルを払わせる金儲けのように感じる
    Web サイトごとに固有のメールアドレスを使ってデータ流出を検知しているのだが、以前にドメイン所有権の検証まで済ませたドメインの結果を検索しようとしたところ、「流出アカウントが 10 件を超えるドメインを検索するには十分なサイズのサブスクリプションが必要です」というエラーが出た
    さらに悪いのは、Troy が公開データの集合まで「流出」として入れ、アカウント数の割り当てを人為的に膨らませている点だ。例えば GitHub からスクレイピングされた公開連絡先の集合が流出したときも流出としてカウントしたが、私のメールアドレスは明示的に公開していたものだった
    こういう低コストのサービスなら年 5〜12 ドルは払う気があるが、現在の価格は法外だ

    • 同じ目に遭ったし、私たちのような人向けの 別料金プランがあってほしい。問い合わせてみる価値はあるかもしれない
    • DarkNet からデータベースをダウンロードしてローカルで動かせば、金を払う必要はない
      欠点は自分でデータベースを管理し、頻繁に更新しなければならないことだ。料金を取って API データベースへのアクセスを売る、こうした金儲けサービスがかなり増えているのを見てきた
    • 自分のメールドメインを運用し、サイトごとに別のアドレスを使い、個人ドメインの流出有無までスキャンするのは、かなり特殊な使い方だ
      その極めて具体的なユースケースが Troy Hunt にとって ドル箱だと見るのは無理がある
    • 私も同じ方式を使っているが、長い間流出通知を受け取っていない理由が気になっていた
      この変更についての通知を見た記憶がない
    • これもまた「すべてをサービスとして」の一例だ
      最初は良いサービスとして始まり、利用量が増えると機能を ペイウォールの向こうに置き、無料サービスを使い物にならないほど低く抑える、ひどいフリーミアムモデルだ。Facebook は悪いとはいえここまでではなく、「無料の Facebook」は追跡が増えただけで、2010 年当時と同じくらいの機能は維持されている

  • haveibeenburned.com、haveigotpwned.com、haveibeenrekt.com、PornHubがフォローしていることが知られた後に誰かが提案したhaveibeenfucked.comのような派生形が生まれたのは、メディアで有名になった副作用としてかなり笑える

    • PornHubのブログはいつも好きだった: https://www.pornhub.com/insights/
    • 最後のドメインはリベンジポルノの保管庫としては興味深いかもしれないが、多くの法域では配布が違法である
      代わりに、リベンジポルノの顔認識ハッシュのデータベースを作り、自分の顔の類似ハッシュをアップロードして、オンラインのどこかに存在するか確認するような形なら可能かもしれない
    • 数年前、妻が妊娠している友人夫婦がいたのだが、「みんなに自分たちが『した』ことが分かってしまう」という事実を実際に少し恥ずかしがっていた
      想像もしなかったレベルの気まずさだった
    • インターネットのルールが機能している証拠だ。存在するものにはポルノ版がある

  • Huntの情報性の高い記事が本当に好きだ
    実際の個人情報を送信せずに、pwnedファイルとパスワードを照合するためにk-匿名性を使う方法を読んだ記憶があり、それをきっかけにその概念を学び、仕事のプロジェクトでも使うようになった
    実際の個人情報を送信せずに検査する記事を読んでいなかったら、自分はどうしていただろうと時々考える

  • 脅迫詐欺師たちがpwnedパスワードデータベースを使って、かなりもっともらしいフィッシングメールを作っている
    「あなたのシステムにリモートアクセスツールをインストールし、ウェブカメラで監視していた。ハッキングの証拠はこのパスワードだ。このアドレスに1800ドル相当のBTCを送り、警察には行くな。次からはパスワードマネージャーを使え」といった具合だ。こういう詐欺に実際に引っかかる人がいるのか気になる
    ほとんどはスパムフィルターに引っかかりそうで、SPF/DKIMフィルターを通過したときだけ見て追加学習させた。かなり賢そうに見える
    サービス自体には感謝しているし、Troy Huntの記事も楽しく読んでいる。HIBPは素晴らしい

    • 家族の一人が、そのメールが本物なのではないかと不安になって電話してきた
      古いパスワードではなく、完全な郵送先住所とクレジットカードの下4桁が入っていて、実際に信じる人はいる
    • Pwned Passwordsの照会は、ハッシュや平文パスワードなしに流出回数だけを返す
      この機能だけでは、そのような攻撃はできない
    • 実際に被害に遭ったかは分からないが、ユーザーが驚いてITチームに確認してもらいに駆け込むケースは聞いたことがある
      自分もこういうメールを一、二度受け取ったが、そのかなり弱いパスワードをどのサイトで使ったのかまったく見当がつかなかった
    • 一度、自分のパスワードが平文で入ったメールを受け取り、かなり不快だった
      すぐに検索してみると、自分が重要視している場所では使っていないパスワードだったので流したが、古いパスワードだと分かっていてもなお気味が悪かった
      パスワードマネージャーを使っていなければ、そのパスワードがどこで使われていたのかすぐ確認できず、記憶を必死にたどる羽目になっていただろう。その感覚は想像しにくい

  • HaveIBeenPwnedがユーザーの認識に与えた影響は注目に値する
    一方でSpyCloudは30倍大きいデータセットを持ち、企業と直接協力してパスワードの再利用を実際に緩和しているのに、十分に評価されていないように感じる
    大手ウェブサイトへのログイン時にパスワードのリセットを求められたり、複数の場所で使われているパスワードなので変更するようメールを受け取ったことがあるなら、その背後にSpyCloudがいた可能性は高い

    • 意図したものではないかもしれないが、その表現はHIBPが企業と直接協力してパスワードの再利用を減らしていない、という意味に聞こえる
      実際には行っている。たとえば1Passwordや他のパスワードマネージャー、Firefox、FBI、英国・オーストラリア政府との協力がある
    • 数百万人を助ける無料サービスと、どの利用にもサブスクリプションが必要な会社を比較するのは、同じ土俵での比較ではない
      後者は大半の人にとってまったく役に立たない
    • SpyCloudの顧客数より、Troyの無料のpwnedパスワードデータを統合して実際にパスワードの再利用を減らした人の数のほうが多いと思う

  • 個人情報保護を気にする人なら、公開検索から自分の情報を削除する方法はここにある
    https://haveibeenpwned.com/OptOut

    • 自分のメールがまだCollection #1やAnti Public Combo Listのような場所にあるなら、HIBPから除外してもあまり意味はなさそうだ
      メールで悪事を働こうとする人は、集約サイトをスクレイピングするより、元の完全なリストをダウンロードする可能性が高い
    • ドメイン単位の除外にも対応しているのか気になる
    • ただしGoogle ReCaptchaを解かなければならないので、個人情報保護に敏感な人たちは嫌がるだろう
      ちなみに「メールアドレスが属するドメインの管理者は、ドメイン検索で引き続きあなたを見ることができる」とある

  • この10年の間に、ストーキング被害者のうちどれほど多くの人が、加害者がアカウントや私生活を見つけ出して侵害するための手軽な案内ツールとして HaveIBeenPwned を使っていたことを知ったのだろうか、と思う
    もちろんサイト側の立場としては、悪意ある行為者がサービスを利用する前に、被害者があらかじめ登録して検索で表示されないようにすべきだというもの
    メール認証の後に表示するよりも、アドレスを入力した瞬間に別のユーザーへ「あなたの情報が外に出ている！」という衝撃を与えることのほうが、ユーザーの安全より重要だというわけ

    • メール認証を入れるとサービス運営コストがはるかに大きくなり、持続可能ではなくなるかもしれない
      誰かのメールアドレスを持っているなら、そのアドレスがどこで使われていたかを突き止めるのに、必ずしも HIBP が必要だろうか？ Google だけでもすでに多くの結果が出るのでは？
    • 同意する。攻撃者に必要な情報の90%を与えているのに、被害者にはどのデータが流出したのかを知らせないので、なお悪い
      どのパスワードが侵害されたのか分かるように ハッシュ を見たい
    • HIBP がどのように悪用され得るのか、もう少し説明してもらえる？ 単にメールが流出リストにあるか確認するだけだよね

  • 「ジェットスキーに乗って、自分のやりたいことを何でもやる」なんて、Troy Hunt は Mobius 変種なのか？

  • 離婚の具体的な内容について、彼が多く書いたことがあるのか気になる
    資産を50%で分けることと、誰が何を所有するのかを整理する過程のせいで、長く高くついたと見ればいいのだろうか？