- 2018年から月額250ドルのCloudflare Businessプランを使っていたオンラインカジノが、Enterpriseの年間12万ドル前払いを要求された後、ドメイン削除により中核サービスと社内システムの障害に見舞われた
- この企業は月間アクティブユーザー約400万人規模で、CloudflareをCDNの静的コンテンツキャッシュとDDoS対策に利用しており、トラフィックの大半はメインドメインで発生していたと説明している
- Cloudflareは複数ドメインの「rotation」と規約上の問題に言及したが、affected domainや解決条件を具体的に示さないまま、月額1万ドルのEnterprise契約だけを提示した
- この企業がFastlyとも協議中だと明かしてから数時間後、DNSレコード、キャッシュ設定、rate limit、whitelist、Cloudflare Access認証設定を含むドメイン設定が削除された
- その後Fastlyへ緊急移行したが、NS変更の伝播には1〜48時間かかる可能性があり、ユーザーのダウンタイムと社内認証インフラ再構築の負担が続いた
BusinessプランからEnterpriseへの圧力に至る経緯
- 企業は2018年から月額250ドルのCloudflare Businessプランを利用してきた
- 主な用途はCDN、静的コンテンツキャッシュ、DDoS対策だった
- 企業は約400万人の月間アクティブユーザーを抱えるオンラインカジノだと説明している
- Cloudflareの最初のメールはWebサイトに深刻な問題があるような調子だったが、実際の通話相手は「Business Development」ではなくSalesチームだった
- Salesチームは深刻な問題の内容を具体的に説明しないまま、Enterpriseへ移行する意思があるかを尋ねた
- 企業はメールの調子に混乱を覚えたが、移行を丁重に断った
- 2週間後、Cloudflareは複数のドメインがメインドメインのミラーのように機能しているとして問題を提起した
- 企業は各国の規制要件、ゲーム提供範囲、ソーシャル機能、sportsbook、アフィリエイト追跡などのために複数ドメインを運用している
- 一部の国ではメインドメインがDNSブロックされる可能性があり、補助ドメインがアクセス経路になりうる
- 企業は、この構成がCloudflareの利用規約違反と解釈される余地があると見ている
- 全トラフィックの95%以上はメインドメインで発生しており、企業は問題のある補助ドメインをCloudflareから外す形でも対応可能だと判断していた
Trust and Safetyの問題がSales契約要求に変わる
- 企業はCloudflareにドメイン情報を送り、問題の範囲と参加すべき社内担当者を尋ねたが、通話日程以外の具体的な回答は得られなかった
- 「Trust and Safety」チームとの通話だと認識して設定したミーティングも、実際には再びSalesチームとのものだった
- Salesチームは月額1万ドルのEnterprise契約を提案した
- 企業は、規約上の問題とEnterprise契約要求がどう結びつくのかを質問した
- どのドメインが「rotation」の懸念対象なのかも尋ねたが、回答はなかった
- どのEnterprise機能が必須なのかも明確ではなかった
- Cloudflareは月額1万ドルの契約以外の解決策に関心を示さず、24時間以内に契約しなければ「Trust & Safety」に返信できないと述べた
- 企業は月次支払いを求めたが、Cloudflareは1年契約と全額前払いを要求した
- メールには月払いも可能かのような含みがあったが、確認すると1年分を前払いしなければならないとの回答だった
- 企業はBYOIPについてはドメイン関連の責任を減らす方法として理解できる一方、残りの機能の大半は不要か、あれば便利という程度だと見ていた
Fastly検討直後に発生したドメイン削除
- CEOとCTOまで交渉に関与し、企業はCloudflareと直接話すことで約1週間の猶予を確保した
- Cloudflareは他の契約オプションや単純な問題解決策を提示しなかった
- Salesチームが示した80TBのトラフィック数値も、企業は正確性を確認できなかった
- Cloudflareが過去の分析へのアクセス権を削除していたためだと説明している
- 企業はHacker Newsの投稿を参考にすれば、80TBトラフィックの妥当な価格は月額150〜2,000ドルになりうると見たが、これは外部投稿との比較に基づく推定である
- 代替策としてFastlyのテストドメインを設定し、関連する通話も予定した
- 交渉の通話でCEOがCloudflare Salesに競合他社とも話していると伝えてから数時間後、Cloudflareは企業の全ドメインを削除した
- DNSレコード、キャッシュ設定、rate limit、whitelistが消えた
- 公開Webサイトとカスタマーサポート用メールを含むincoming emailが停止した
- 社内インフラとCloudflare Access認証設定も停止した
- Cloudflareのメールには「現時点でサービスへの影響はない」との文言があったが、実際には障害が発生しており、サポートチケットにも即時の回答はなかった
Fastlyへの緊急移行と復旧負担
- 企業はSysOpsチームを招集し、メインサイトをFastlyへ緊急移行した
- 数時間以内に基本動作は確保したが、NS DNSエントリ変更の伝播時間は一定ではなかった
- 伝播には1時間から48時間かかる可能性がある
- 大半のユーザーには約3〜24時間のダウンタイムがあったと説明している
- Cloudflareは後にチケットへ応答したが、企業によれば「Trust and Safety」からの直接連絡はなく、アカウントはロックされたままだった
- 削除の影響は公開サービスにとどまらず、社内システムにも及んだ
- Cloudflare Accessベースの社内認証構成が停止した
- 企業は社内製品の認証インフラを一から再構築する必要があり、大規模なダウンタイムが発生した
Cloudflare依存が生んだ運用リスク
- CloudflareがいつBusiness顧客をEnterpriseの個別課金へ切り替えようとするのか、公開された基準がない点が中核的なリスクとして残る
- 企業はトラフィック上限やEnterprise価格に関する公開基準を見つけにくいと見ている
- 複数ドメインのような要素がEnterprise移行圧力の根拠になりうる
- 価格は測定可能な指標や機能セットよりも、顧客が支払えそうな金額に応じて決まっているように見えたと企業は判断している
- トラフィックが減れば価格がどう変わるのか尋ねたが、Cloudflareは80TBが含まれるという説明以外はしなかった
- 含まれる14機能のうち不要なものが多いと伝えても、Cloudflareは機能が含まれていると答えるだけだった
- 社内ドメインまで含めてすべてEnterpriseが必要なわけではないと述べたが、Cloudflareはアカウント全体がEnterprise対象だと答えた
- Cloudflareから脱却できるよう、24時間以内に移行準備が必要だとまとめている
- ドメインをCloudflareに直接登録しないことを勧めている
- Cloudflareアカウントが停止されると、ドメインを妥当な時間内に取り戻す方法が分かりにくいと見ている
- 企業はNSだけをCloudflareに向けていたため移行できた
- Cloudflare専用機能は移行コストを高める
- カスタムキャッシュルールの代わりに「Cache: Always」と「Respect Origin Headers」を使い、他のキャッシュプロキシでも動作するようにすべきだと勧めている
- Zero AccessやWorkersのような専用製品の利用は避け、サードパーティ標準と互換性のある技術を使うほうが安全だと見ている
- 設定のバックアップも別途必要となる
- SPF、DKIMのようなメール送信関連のDNS設定
- サイト検証用DNSエントリ
- IPリスト
- rate limitingルール
- CloudflareのDDoS対策は大規模攻撃には有効だったが、CPU 100msを使うキャッシュされない未認証APIリクエストのような脆弱な攻撃面では、10〜100rpsだけでもコアを使い切らせる可能性があると説明している
- 一部の「DDoS attack as a service」グループは、Cloudflareベースのサービスと「Under Attack Mode」の回避に特化しているようだと付け加えている
2件のコメント
Cloudflareが韓国政府のドメインブロック回避をしてくれるので使っているのですが、Fastlyのような会社もドメインブロック回避を提供しているのでしょうか？
Hacker Newsの意見
この問題は、OPがカジノ／ギャンブルサイトを運営している点に起因しているように見える。
ギャンブルは規制が混乱しており、管轄区域ごとに遵守を証明する必要があるうえ、インターネット上では完全な執行が難しいため、一部の国やISPが直接ブロックする。ギャンブル／ゲームサイトをホストするIPは地域別にブロックされたり、違法コンテンツのホスティングとして表示されたりしてIPレピュテーションに影響し、Cloudflareのようなトラフィック集約事業者にとっては他の顧客の問題に波及しかねない。特に米国はギャンブル規制が厳しく扱いも難しいため、Cloudflareが米国の州単位の規制で困っていた可能性が高い。
CloudflareはEnterpriseプランのBYOIPを使わせたかったのであり、自社IP上に置きたくなかったようだ。本来のメッセージは「Enterprise + BYOIPでなければブロック、価格は相談可能」であるべきだったが、実際には「Enterpriseプランを気に入っていただけるはずです」といった形で伝わっており、企業コミュニケーションとしては大惨事だった。
インターネット企業の半分ほどがCloudflareや他のマルチテナント型インフラを使っているため、1つのIPをブロックして特定の対象だけを狙えないことは誰もが知っている。私が見たことがあるのはDNSブロックかTLS SNIベースのブロックだけだ。私たちも規制のため、米国ユーザーを完全にブロックしている。核心的な問題は、「コンプライアンス」と営業を混ぜ合わせながら、明確な情報や選択肢を示さなかった非専門的なコミュニケーションであり、やり取りの最中だったアカウントを警告なしに削除した点だ。
BYOIPは単に高価なだけでなく、コンテンツがIPレピュテーションに悪いなら、共有IPよりBYOIPのほうがはるかに早くフラグが立つ可能性がある。希釈効果が小さいからだ。IPを継続的にローテーションしたり借りたりする問題まで入ってくると、さらに複雑になる。ただ、営業メールがすべてだったのなら、Cloudflareのコミュニケーションが明らかに拙く非専門的だったことは確かだ。
Enterpriseプランを通じてBYOIPが必要だと伝えられており、単にその費用を払いたくなかっただけのように見える。
random.orgが全部押さえているのだと思っていた。
Cloudflareのこうした状況への対処は、誰にとっても理想的ではない。
サービスを使い始める時点ではコストが大きくないため、その水準に合わせて計画を立てるが、突然営業担当者から「緊急」のメールが来て、月20ドルや250ドルからいきなり数千ドルへ上げなければならない状況になる。Cloudflare側としても、十分に料金を払わない顧客を維持する理由はないだろうが、顧客に爆弾を投げつけ、追い出されそうだと感じさせれば信頼を失う。Fastlyの価格に合わせることもできたはずで、違う対応をしていれば顧客を維持し、より多くの収益も得て、信頼も守り、悪いPRも避けられただろう。HNに投稿するCloudflareの経営陣はたいてい「こういうことは起きてはならない」と言うので、営業担当者のインセンティブを見直すべきだと思う。
Cloudflareと話すときは、競合他社に触れたり、離れる可能性をほのめかしたりすることすら安全には見えない。
Cloudflareは以前、キャッシュファイルを通じて機密データが流出し、Googleにインデックスされた会社ではなかったか？
技術コミュニティが大規模な機密情報流出に怒っていたとき、CEOがここに来て、Googleが十分に早くインデックス削除をしなかったと批判していた記憶がある。安い料金を払えば、それに見合った結果を得るということだ。
あれほど大きなミスは忘れにくく、「素早く動き、壊す」文化があることを示すサインに見える。中核インフラを担う会社には向かない文化だ。
ただし、大手プロバイダーがページのキャッシュ版を提供するなら、マルウェアのような問題が起きたときにそのファイルを削除する方法はあるべきだと思う。
Cloudflareより優れたDDoS緩和業者を見つけるのは難しいが、すべてを任せられるほど信頼はしていない。特に、復号されたHTTPS接続を見ている可能性が高いからだ。
アカウントがブロックされた時点で、Cloudflareの営業チームはこの件を「6週間以内に成約する可能性60%」くらいに見ていたのではないかと思う。
その瞬間にFastlyに奪われると疑う理由はなく、基本的な勝者はCloudflareだった。恐喝だったにせよそうでないにせよ、ほぼ勝てる取引を腹を立てて自ら放棄したというのは納得しにくい。だから、調べてみたところ規約違反の業種だと判断したか、執行チームと営業チームの介入トリガーが重なった可能性が高そうだ。Cloudflareの対応はひどく、こうした告発も初めてではなく、「非常に手厚い無料ティアとひどい有料体験」という評判がある。それでも、勝てる取引を怒りで手放す者がいるだろうか。関心を持ったことで調査し、怪しげなカジノや米国法規制の回避に見える事業を支援しないと気づいた可能性がある。
しかも、ゲーム市場を担当する部署全体があるように見える。
あるニッチなユースケースが自動の規約チェックを通過した後、関係のないサポート案件をエスカレーションする中で手動の規約レビューがトリガーされる、という具合だ。そうだとしても、Cloudflareのように大きく、12万ドルの請求書を扱う会社なら、こうしたことが起きないようにすべきだ。非常に素人っぽい。
OPはカジノで、規制当局の関心を避けるためにドメインで小細工しているように聞こえる
タイトルだけを見て反応する前に、記事を注意深く読むことを勧める。Cloudflare側の見方も出てくるといい
カジノが規制を避けようとしたのではなく、遵守するために事業構造を組んだように見える。Cloudflareが、より多くの金を受け取るために顧客の監視回避を手助けするリスクを負う理由もなさそうだ。むしろ、金回りのいい事業だと知って一枚噛みたがった、というのに近い
許容できる事業なのか、そうでないのかのどちらかであるべきで、どちらにしてもCloudflareにとって良く見えない
カジノへのサービスを停止できるなら、戦争プロパガンダサイトや違法サービスを売るサイトも停止できるのではないか？ これは単なる技術提供者や中立的な「インターネットのパイプ」ではなく、編集上の選択をしているという意味だ。結局、独自の検閲はCloudflareの利益にならない可能性があり、DMCAのセーフハーバーを失うリスクも生じ得る
要点は、メインドメイン以外のドメインはすべて削除する意思があり、メインドメインがトラフィックの95%以上を占めていたという点だ。しかしCloudflareはそうした選択肢も、問題の詳細もまったく示さなかった
法的問題があったのなら、営業チームではなくCloudflareの法務チームが出てくるべきだった
Cloudflareは、ノルマを達成できなかったアカウント担当者の解雇動画でもバイラルになった会社だ
Enterprise顧客との関係を扱う文化が全体的に良くないという兆候かもしれない
https://m.youtube.com/watch?v=7LuwPdp-_4c
営業担当は目標を達成できなければよく解雇されるし、エンジニアも生産性目標を達成できなければ解雇される。仕事がうまくできなければ、勤め続けられると期待すべきではない。記憶が正しければ、その従業員はまだ1件も販売できていない新人だった。実績が検証済みのベテラン営業担当の代わりに、未検証の新人を残すだろうか？
以前、Cloudflare Businessプランにかなり大きな帯域幅を使うサイトを載せていたことがある
完全に合法なサイトで、メディアが多かった。CloudflareはEnterpriseプランを提案してきたが予算がなく、少し時間をくれと言うと問題ないと言われた。その後、帯域幅使用量のかなりの部分をOVHの専用サーバー数台に移し、それ以降は何の連絡もなかった
この記事が執筆時点で1時間で355ポイント、コメント180件なのに、1ページ目どころか31位である理由をHNのアルゴリズムの観点から説明できる？
「最後の顧客サポート窓口」というジャンルはよくあり、通常HNにはあまり合わない [1]。この話が例外的に関連性があり興味深いと感じるなら同意はしないが、特定の場合には譲歩できるので、このスレッドのペナルティを戻した。私たちの観点での問題は、特定の記事Xや企業Yではなく、システム上の問題だ。最も人気のある投稿ジャンル、特に怒りを誘発する記事はデフォルトで過剰にサンプリングされるため、サイトが目指す知的好奇心中心の記事のための空間を維持するには相殺装置が必要になる [2]
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20%22last%20resort%22%20support&sort=byDate&type=comment
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20countervail&sort=byDate&type=comment
https://hnrankings.info/40481808/
明らかにフラグシステムの悪用だ
[flagged]のしきい値未満のフラグは見えないが、それでも投稿の重みを下げる効果がある不透明性を扱った記事について、私たちが透明性を求めている状況なのは皮肉だ
ギャンブル事業は、好むと好まざるとにかかわらず、構造的に日陰のビジネスである
Cloudflare が得るものに比べてリスクのほうが大きいと見た可能性がある。月額300ドルは、そうした事業を相手にすることで起こり得る面倒に比べれば非常に安い。また、自分側の情報や会社名は慎重に隠している一方で、相手企業の担当者名を公開したのは非常に不適切だと思う。結局 Cloudflare も誰と取引するかを選べるし、あなたの事業の収益性や、相手にするうえでどれほど騒がしく苦痛になり得るかを考慮して要求価格を算定したのだろう。良くはないが、これが SaaS/PaaS の欠点である
ほかの何千もの顧客にも同じことをしないという保証はない
月額300ドルが安いという点には同意するが、月額1万ドルは非常に高く、Fastly もそう見たようだ。名前の公開が doxxing だとは思わなかったし、大きな問題になるとも予想していなかったが、スクリーンショットを更新して担当者名は隠した。Cloudflare はもちろん取引相手を選べるが、同時に自ら 中立性 を掲げている
Cloudflare が24時間でも与えたのは、OP にとって運が良かったということだ。利用規約を掘り返すつもりはないが、銀行・暗号資産・成人向け・ギャンブルのような特定業種は Enterprise 契約が必要な可能性があり、そのため営業チームにつながれたのかもしれない。OP は顧客信頼の喪失を語っているが、Cloudflare は OP の信頼を望んでも必要としてもいない。月額250ドルでは、そうした事業を引き受けるには十分ではない
Cloudflare の CEO 兼共同創業者は Twitter[0] でかなり活発で、HN[1] でもある程度活動しているので、この件についての見解を聞ければ興味深そうだ
[0] https://x.com/eastdakota/
[1] https://news.ycombinator.com/user?id=eastdakota
顧客は好きなことを言えるが、Cloudflare の従業員や CEO が反論するなら、自分たちの側の事実関係を提示できるだろうか。アカウントの詳細を明かせばプライバシー規則に反し、法的問題を大きくするだけのように思える。投稿者はすべてのスクリーンショットでドメインを慎重に隠しているようだ
https://x.com/ArtemR/status/1795074047539068991