HetznerによるKiwixアカウントのキャンセルと全サーバー停止
(mastodon.social/@kiwix)- Kiwixは、2024年12月1日（日）00:00にホスティングが事前警告なしに停止され、ライブラリへのアクセスとファイルのダウンロードができなくなったと明らかにした
- 原因はHetznerがKiwixのアカウントをキャンセルし、すべてのサーバーを停止したことだった。Kiwixは迷惑メールフォルダーまで確認したが、事前通知は見つからなかった
- 月曜日の午前にHetznerと連絡が取れたものの、キャンセル理由は確認できず、Hetznerが送ったというメールも再送不可との回答を受けた
- サーバーデータがすでに削除された後、Kiwixは影響を受けていないミラーとScalewayの新しいマシンで約8TBを復旧し、再びオンライン化するまでに約48時間かかった
- その後共有されたキャンセルメールにも理由はなく、Kiwixは今回の事故を機に、リソース制約の中で新たな保護策を検討することにした
日曜深夜に切断されたKiwixサービス
- 2024年12月1日（日）00:00、Kiwixのサーバーホスティングが予告なしに停止された
- Kiwixはこの件を理由に、Hetzner Onlineのサービスは推奨しないと述べた
- サーバー接続が切れた時点は日曜深夜で、KiwixはHetzner側による予約済みのサービス廃止のように見えると判断した
- 主要なストレージバックエンドが完全にアクセス不能になった
- 一般ユーザーはライブラリにアクセスしたり、ファイルをダウンロードしたりできなかった
- Kiwixもストレージに接続して原因を確認できなかった
アカウントのキャンセルと即時削除されたサーバーデータ
- 確認の結果、HetznerがKiwixのアカウントをキャンセルし、すべてのサーバーを停止していた状態だった
- Kiwixは事前警告を受け取っておらず、迷惑メールフォルダーにも関連通知は見つからなかった
- 日曜日には連絡可能な担当者がおらず、月曜日の午前になってようやくHetznerと連絡が取れた
- キャンセル理由は最後まで説明されなかった
- Hetznerはメールを送ったと回答した
- Kiwixが再送を求めたが、Hetznerはそのメールを再送できないと回答した
- その間にすべてのサーバーはすでに削除されており、Kiwixはデータを回収する方法がなかったという
ミラーとScalewayを使った復旧
- Kiwixには影響を受けていないミラーが残っていた
- 新しいマシンは別のプロバイダーであるScalewayで確保した
- その後、新しいMasterサーバーへデータを即座に再取得し始めた
- 約8TB規模のデータを再びオンライン状態にするまで、全体で約48時間かかった
明らかになった運用上の弱点とその後の対応
- 今回の事故により、Kiwixはいくつかの弱点を確認した
- 同時に、インフラ担当者たちが比較的短時間で状況を切り替えられることも確認された
- Kiwixは今後数週間から数カ月の間に、リソース制約の中で新しい保護策をどのように実装するか検討するとしている
後から共有されたキャンセルメール
- その後、Hetznerがキャンセルメールを共有した
- メールは、翌月末にKiwixのアカウントを閉鎖するという単純な案内だった
- キャンセル理由はなく、文面上はKiwixがHetznerの利用規約に違反したという印象ではなかったという
- Kiwixは、このメールによって件を締めくくって先に進めるようになったと述べた
- Kiwixは、インターネット上で問題を公に知らせたことが効果的だったとも付け加えた
1件のコメント
Hacker News のコメント
CTO にバックアップやプラン B があるのかと聞くと、「AWS 上にあり、そこにもバックアップしている。AWS という会社が潰れることはない」と答えることが多い
そこで、アカウントが閉鎖されたらどうするのかと改めて尋ねる。例えば、Amazon で問題のある商品を販売している会社と同じ電話番号を使っているという理由でアカウントが紐づけられたり、数年前に GCP がドライブ上の画像を誤分類してアカウントを閉鎖した事例のような場合である
バックアップは別の場所になければならず、Terraform も別のクラウドプロバイダーで検証済みであるべきだ。そうでなければ、会社全体を危険にさらしていることになる
付け加えると、Hetzner 自体を非難したいわけではない。20年以上使ってきて、その間に個別サーバーが停止されたことはあったが、アカウント全体が解約されたことはなかった
最初はオンプレミスから出ろ、費用は気にしないと言われ、その次にはクラウド中立でなければならないと言われたが、締め切りが迫ると「技術的負債は気にせず、できるだけ早く AWS で動くようにしろ」に変わった
今では AWS コストで大騒ぎになっており、機能開発と保守の上に「クラウド中立」と「すべてのクラウドでサービスコスト削減」を同時に背負わされている。技術的負債とバグが多く、どちらも10倍は遅くなっている
早く新しい職場を探さないといけない。経営陣と上層管理職が会社をめちゃくちゃに運営している。毎日、現実離れしているか仕組みをほとんど理解していない誰かの場当たり的な対応が続き、実際の問題解決にはほとんど役に立たない手続き上の問題ばかりが増えている
たいてい「組み込みツールなのに、なぜ壊れていると仮定しなければならないんですか？」のような答えが返ってくる。そして数か月後、あるいは数年後に復旧を試みると、本当に重要なデータはそもそもバックアップされていなかったことに気づく
Google Cloud は今年初め、オーストラリアのある年金基金のクラウドデプロイ全体を誤って削除してしまったことがあった。本当に堅牢なバックアップを望むなら、結局はオブジェクトストレージにまとめられる必要があり、別会社のクラウドに置くべきだと思う
そのうえ、テストされないまま放置され、最も必要なときに役に立たない可能性が高い
私が手動ですべてバックアップを取っておいたが、本当に良くない
この件について事実ではない情報が広まっているので残しておく。2024年10月30日に、規約に基づく期限を明記してメールで解約通知を送った。
私たちのチームはすでにこの顧客と何度も連絡を取っており、通信の送信記録も保持している。アカウントを無作為に閉鎖することはないので安心してほしい。サービスの悪用、規約違反など、常に具体的で正当な理由がある。
したがって、規約を遵守してほしい: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
ここ数年、Hetzner が理由を告げずにアカウントを閉鎖したと主張する人がオンラインに多くいた。大半は、規約違反に見えないよう一部の内容を意図的に省いているのだろうと思っている。
それでも Hetzner の顧客として、小さな顧客ではあるが、そうした不満には根拠がなく、今もこの会社を信頼してよいのだと知りたい。
私たちの住所は持っているはずだが、もしかすると「紛失」したのかもしれないので、10月30日付のメールを contact @ kiwix.org に転送してほしい。
以下が私たちの出発点で、参照番号で簡単に見つけられるはずだ:
特に、受信確認もなく、別の連絡手段も試さず、メールだけで通知したのならなおさらだ。サービスが停止された瞬間にデータを永久削除するのが御社の標準手順なのか？
ここでバックアップは核心ではない。もちろんバックアップは重要だが、Hetzner が本当に警告や移行猶予期間なしに運用データを削除したのなら、その上に基盤を築けるほど安定した土台ではない。
こうした理由で Google Cloud の顧客になったことはないし、Hetzner が何が問題だったのか、そして二度とこのようなミスをしないために何をするのかを明確にするまでは、新しいサーバーを Hetzner にデプロイするつもりはない。
Hetzner、これでボールはそちら側にある。
「ボールは Hetzner 側にある」というのも、必ずしもそうではない。規約を読めば、サーバーに対して何でもできるという内容がある。
規約2.7には「また、正当な理由がある場合、通知なく契約関係を終了する権利を留保する」とある。
どの会社のどのサーバーでも同じことはできる。Amazon も似たようなことをしたという話は多いし、Google も同様だ。
コロケーションであるか、ハードウェアを自分で所有しているのでない限り、いろいろな形で痛い目に遭う可能性がある。専用サーバーホストは絶対に信用しないつもりだ。
Hetznerが誰かのサーバーを停止したという不満は、たいてい規約に反するコンテンツをホスティングしていたか、それに近い理由だった。
しかし今回の件は、さまざまな形の「オフラインWikipedia」にあたる Kiwix の話に見え、問題になりそうなコンテンツとは関係なさそうだ。
最終的にはHetzner側の見解も出てくると思う。通常、相手が公に書き始めると、Hetznerもその問題について公に書き始めることが多い。
個人的には、何年もHetznerを満足して使ってきており、自分に非がない問題はなかった。ただ、ベルリン時間の日曜深夜にサーバーが削除され、データが即座に消され、救済手段もなかったという話は、かなり攻撃的に聞こえる。幸い、自分もKiwixも重要なデータにはミラーがあるようだ。
任意のファイル名に含まれる文字列のせいでそう判断したのかもしれないし、最近のあるMastodonインスタンスの事例のように、ユーザーが画像をアップロードできるという理由だけでHetznerが危険だと見なした場合もある。こうした機能は一般的で、違法コンテンツがアップロードされた場合に対処するモデレーションと戦略があったにもかかわらず、その日に確認した担当者が神経質で、異議申し立ての手段はなかった。
ユーザーはまずKiwixかブラウザー拡張をダウンロードし、その後Kiwixでオフライン閲覧用コンテンツをダウンロードする [1]
「私たちの主ストレージバックエンドが完全にアクセス不能になった。一般ユーザーにとってはライブラリにアクセスしてファイルをダウンロードできないという意味で、私たちにとっては接続して何が悪かったのかを見ることすらできないという意味だった」 [2]
おそらくWikimediaに変な写真が何枚かアップロードされ、それがHetznerのサーバーへ自動同期されて警報に引っかかったのかもしれない。
Hetznerがデータを削除した部分は判断が難しいが、Kiwixチームとまともに連絡を取ろうとしなかったのは本当にひどい対応だ。世の中のためになることをしようとしているチームだと分かっていたはずなのに。ユーザーのアカウントアクセスを何も言わずにブロックするGoogleや、セキュリティ脆弱性を知らせてくれた研究者を訴えるドイツ企業と同類だ。
Hetznerは恥を知るべきだ。
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
ちょっと待って、Hetznerが本当に警告なしにすべてのデータを削除したということなのか？
これは本当にめちゃくちゃで、事業を潰しかねない。Hetznerの評判にとっても、顧客にとっても致命的になり得る。
ただ、安いし、たいていの人は会社を調べようとしてもオンラインで不満を言っている人たちを見つけられないだろうから、残念ながら大きな打撃にはなっていないようだ。
Hetznerがそういう権限を持っていて、データを復旧不可能な形で削除できるという現実が怖い。
昨年、Dockerサービスのポート設定を誤り、誰かがそれを悪用してポートスキャナーを走らせたことがあった。家を空けていた時期だったので、サービス悪用のメールを時間内に見ていなければ、数日後に戻ってきて全データが消えていたか、稼働時間モニターが大騒ぎしている状況になっていたかもしれない。
ドイツ企業のカスタマーサポートはひどい。EU内でもそうだ。
直接返信できるMastodonアカウントがないので、この言葉を聞くべき人に残しておく
私もVPSプロバイダーによってコンテンツを落とされた問題を経験したことがある
うまくいった方法は、一般にはあまり知られていないVPSプロバイダーを使うことだった。しばらくは、帯域幅が無制限で、WikipediaやJulian AssangeがOVHを使っているという理由でOVHを使っていた。今もそうなのかは分からないし、その後はコンテンツをENSとIPFSに移した
いずれにせよ、実際のコンテンツがどこにホストされているかに関係なく、私の「本物の」サーバーはコンテンツのオリジンにして、外部から見えないように隠した。ファイアウォールで固め、10行ほどの設定ファイルを持つ使い捨てのSquidプロキシサーバーからだけアクセスできるようにした
それからDNSやCloudflareなどをSquidノードに向け、そのノードが落ちても気にしなかった。別の場所に数分で新しくデプロイできたからだ
「悪いコンテンツ」があったわけではなく、Tonya Hardingのように執拗に襲いかかってくる無慈悲なビジネス上の競争相手がいただけだった。あなたのコンテンツもそこまで攻撃的には見えないので共有している
フロント側のVPSノードには、実際のコンテンツのアドレスをリモートオリジンとして入れればよい。そうすれば、その場所を知っているのはあなた以外にいない
そうすると通常、ホスティング会社もファイルを覗き見しない限り、それが何なのか分からないはずだ。もし覗き見するなら、その会社も終わりだ
検閲を避ける方法としてこれを伝えてもいいし、独自ノウハウのように自分だけで持っていてもいい。Squidの設定例が必要なら教えてほしい。本当に多くても10行で、Googleにも例はたくさんある
レイテンシもかなり増え、障害点も追加され、「フロント」のIPを「本物の」サーバーに同期してアクセスを許可しなければならない。さらに、「本物」のホスティングと「フロント」のホスティングそれぞれについて、信頼できるプロバイダーを2社見つける必要がある。同じプロバイダーを使うと、元記事と同じ問題が起きる
本人にとってうまく機能しているならよいし、祝福すべきことだが、多くの人の問題を解決するとは言いにくい。実際に本人の問題を解決しているのかも疑わしく、本質的にはCloudflare/Akamaiのようなものを使いつつ、VPS上に手動でプロキシを立てているのに近い
今回が初めてではない：
ここにも悪い経験がある。誰かから著作権侵害の申し立てを受けると、Hetznerは顧客に先に連絡しない。ただ即座にサーバーを落とし、回答を求めてくる
当然ながらまともな手続きではなく、どんな本番システムにもHetznerは勧められない
HNでHetzner関連の投稿を見るたびに腹が立つ。こういう会社は宣伝されるべきではなく、ブラックリスト入りすべきだ
それに、そのWebサイトが何についてのものだったのかも気になる。私も24時間以内に回答しなければサーバーを削除するという通知を受けたことはある。だが、いつも回答して従ったので、サーバーが削除されたことはない
削除しなければインフラ側に波及する。あなたは投稿を削除できるが、ホスティング業者は投稿だけを削除できず、サーバーを落とすことはできる。そしてそうしなければならない。そうしないと罰金や禁錮のリスクがあるからだ
ここで全体像を知る必要がある。公開されたDMCA削除依頼リンクがあり、実際に依頼を処理したのに、申立人がそれを無視してHetznerへ直接行ったのか？ それともユーザー生成コンテンツのサーバーを運営しながら「まあ大丈夫だろう」と適当にやっていたのか？
あなたが間違っていると言っているわけではないが、話のごく一部しか語っていない
Hetznerは、私が0.02ユーロを滞納しているという理由でアカウントを凍結した
VISAのクレジットカードやVISAデビットカード、Amexでは支払えず、銀行振込を求められた。ところが私の銀行は、金額が低すぎるという理由で0.02ユーロの送金を許可しなかった
純粋に意地で自分のデータセンターを建てた
共有できる詳細があれば聞きたい
聞きたくない人もいるだろうけど、Hetzner のサポートはひどい
私たちは2年間アカウントを維持し、オークションサーバーを何台も使っていて、何度かサポートに連絡する必要があったが、毎回「それは私たちが手助けすることではない」というところから会話が始まった
supposedly、故障した場合にだけ助けると言っていたが、NVMe がほとんど止まるほど遅くなったり、一時的なネットワーク問題が起きたりした実際の技術的問題でも、できる限り「私たちは気にしない」という態度だった
だから先月アカウントを解約した
OP にしたように、もし私たちのデータを丸ごと消されたら、どれほどの苦痛が押し寄せたか想像もつかない