- 最近、企業がクラウドから自社ハードウェアへ戻るクラウド・リパトリエーションに関する議論が増加している
- Fastmailは20年以上にわたり自社のベアメタルサーバーを用いて運用を最適化してきた
- 自社ハードウェアを利用することで、クラウドに比べたコスト最適化が可能：
- 使用量パターンを正確に把握し、ハードウェア購入を長期計画
- 25年分蓄積されたハードウェアおよびネットワークの設置・運用経験
- ハードウェアを5〜10年活用してコストを償却
ハードウェアの進化
- 初期のIMAPサーバーは、15k RPM SASドライブと7.2k RPM SATAドライブで構成されたRAIDを使用
- メールデータを高速なSASドライブに保存した後、サーバー負荷が低い時間帯にSATAドライブへ移行
- この仕組みはCyrus IMAPと独自のパーティションツールによってサポートされている
NVMe SSDへの移行
- 数年前、AMDベースの2UプラットフォームとNVMe SSDで大規模アップグレードを実施
- RAIDコントローラー不足の問題に対処するためZFSファイルシステムを導入
- ZFSはCopy-on-writeモデルにより優れたI/O性能を提供
ZFS圧縮とチューニング
- Zstandard圧縮の使用により、メールデータ容量を約40%削減
- ZFSレコードサイズを調整して圧縮効率を追加改善：
- 128kレコードサイズでは、基本で約40%削減
- 512kに調整すると42%削減
ZFS暗号化と統合
- 従来のLUKS暗号化に代わるZFS標準暗号化を採用し、システムの複雑性を削減
- 3年間で、すべてのメールサーバー、データベース、ログ、バックアップサーバーへZFSを導入完了
SSDの寿命と信頼性
- SSDの寿命と信頼性を検証：
- データセンター向けSSDは3年間で非常に低い故障率を記録
- HDDに対して10倍以上の信頼性
ストレージコスト比較
クラウドストレージ
- Amazon S3: 年間$252,000
- Backblaze B2: 年間$72,000
- 利点：容量無制限、複数ベンダーの選択可能
- 欠点：実装の複雑さ、継続的なコスト上昇の可能性
HDDアップグレード
- 24TB HDDアップグレード費用：1台あたり約$6,000
- 利点：既存ハードウェアの再利用、低コスト
- 欠点：データリカバリー時間の増加、I/O性能不足
SSD NVMeサーバー
- 2U SSDサーバー：$190,000（1220TB保存容量）
- 利点：高いI/O性能、信頼性、スペースと電力の節約
- 欠点：初期費用が高い
最終的な選定と結果
- NVMe SSDベースのZFSサーバーへの移行：
- 高い性能と信頼性を確保
- 既存システムとの互換性を保ち、新たな開発は不要
- データ転送速度：5GB/s以上
結論
- 自社ハードウェアの運用は万人に適するわけではないが、長期的なコスト削減とコントロールの向上が可能
- Fastmailは自社ハードウェアを通じて、安定性とコスト効率の両立を実現
3件のコメント
AZ単位で可用性を確保できるかどうかも気になります。
率直に言うと、クラウドを使わずにこのようにうまく回っている会社は、大きく二つあります。1つは会社の人材レベルが高くて本当にしっかり運用できている場合、もう1つは人材レベルが十分でなく、低可用性でセキュリティも弱いシステムなのに、あたかもうまく回っていると思っているケースです。韓国は後者が圧倒的に多いです。 専門職を除けば、韓国では人材を軽視する傾向があるため、韓国のような場合はむしろ優秀な人材を使う海外のCSPに任せる方が妥当だと思います。あるいは、本当に人材に投資するか……
率直に言えば、アクセス数が一定ならクラウドを使わない方が安く済むことはありますが、これを高可用性とセキュリティを備えて適切に運用するには、会社内に物理サーバーを回せる人材が必要です。そういう人材がいなければ、クラウドを使うべきで、そういう人材を確保する能力が不足しているスタートアップが、わざわざクラウドを使うわけではありません。
クラウドを使わないで有名な37signalsも、給与の下限を設定して人材を重視していますが、その下限は7万ドル、ドル高で換算すると1億ウォンを超えます。韓国のIT従事者は、37signalsの給与下限より低い給与を受け取ることが一般的です。あそこでは、人材を重視して投じる人件費が並外れて高額で、その結果、オンプレミスを運用できる優秀な人材を持っているにもかかわらず、クラウドへの支出が過剰になったためベアメタルに戻しました。さらに、Kamalのようなものも作りました。では、韓国企業はKamalのようなものを作る力があるでしょうか？人に投資するのが嫌なら、単純にAWSのようなCSPを使うのが妥当だと思います。オンプレミスだから安全というわけではないことは、KADOKAWAのハッキング事件で証明されています。
Hacker Newsの意見
FastMailが自社ハードウェアを使っている理由は、1999年の会社設立時に選択肢がほとんどなかったからだ。Rackspace の単一サーバーを使っており、当時の費用は月額 70 ドルだった。VPS や SaaS の代替手段は実質的に存在しなかった。
クラウドへの移行は興味深い。ほとんどの人はハードウェア管理に興味を示さないが、コスト面では自社システムの方が有利だ
クラウドは DevOps の左シフトに関連する。コスト削減が目的ではない
FastMail への信頼はない。Pobox を買収した後、メール転送サービスが失敗した。返金も断られた
BareMetalSavings.com を紹介。クラウドからの脱却コストを見積もることができる
FastMail のアプローチは興味深い。SSD に関して2つの興味深い点に言及している
FastMail の透明性と論理的判断が気に入る。メールサービスに費用を払う価値がある
セルフホスティングの方がクラウドより優れているという意見が多い。しかし、ビジネスアプリケーションを効果的に運用する方法についての議論は不足している
クラウド利用の利点のひとつは小規模時の信頼性だ
FastMail は最高のメールプロバイダーのひとつだった。インターフェースが直感的で応答が早い