独自データセンター構築計画

• 自分のデータセンターを構築したいなら

  • Railwayは当初からGoogle Cloud Platformを基盤としてコンピューティングを構築していた。しかしその結果、価格、サービスレベル、エンジニアリング上の制約など、さまざまな問題が発生した。これらの問題を解決するためにRailway Metalプロジェクトを開始し、カリフォルニアに最初のサイトを構築した。

• クラウドを構築したいなら

  • Railway Metalプロジェクトは2024年1月に始まり、最初のサーバーを設置するまでに5か月を要した。スペースを確保し、電力と冷却を考慮する必要があった。3つの主要な選択肢の中から「Cage Colocation」を選択した。

• 大きな力には大きな責任が伴う

  • データセンター移設を計画する際には、必要なコンピューティング容量を考慮しなければならない。電力密度が重要な要素であり、電源供給の冗長化が必要となる。Power Distribution Unit(PDU)を通じて電力を供給する。

• 光あれ

  • ネットワーク接続が重要であり、複数のISPと契約して最適なネットワーク経路を確保している。各地域に適したISPを選び、複数地域にまたがって冗長性を構築している。

• 通路、ラック、そしてオーバーヘッドインフラ

  • データセンターではラックは列状に配置され、空気の流れのために通路が必要となる。ラックのサイズやケーブル管理も考慮しなければならない。電力と冷却は、スペースよりも制約要因になることがある。

• ラックとスタック

  • 整然としたケーブリングには多くの練習が必要で、専門家の助けも必要になる。ケーブルマトリクスとラックエレベーション文書を通じて設置を計画する。設置には6〜14日かかる。

• Metalにペダルを踏み込む

  • 設置されたケージは空白のキャンバスのようなもので、ネットワーク機器の構成、ルーター設定、RIR記録の更新などが必要となる。FRRとSONiCを使用して、L3専用のソフトウェアベースのネットワークを構築している。

  • 今後の投稿では、サーバーを機能するRailwayゾーンにする過程を取り上げる予定だ。RailyardとMetalCPという2つのソフトウェアツールを開発し、新しいケージ設計、ケーブリングの可視化、サーバーへのOSインストールなどを簡単にできるようにしている。

[GN⁺]

Hacker Newsのコメント

• 「colocation」を「自前のデータセンター構築」と呼ぶことへの疑問を提起。実際にはサーバーをラックに設置するだけにすぎない
• Rackspace時代の面白いエピソードを回想
  • EMCの社員がストレージ装置の設置中にサーバーラックを倒した事件
  • トラック運転手の心臓発作でデータセンターがオフラインになった事件
  • レーザーで帯域幅を別の建物へ伝送した経験
  • 火災のせいでサーバーが窓を突き破り、ボックスファンを買うことになった話
• データセンター技術が大きく進歩したことに触れつつ、Facebookとの協業経験を共有
• Googleの顧客サポート不足を指摘
• Blekkoのインフラ構築経験を共有
  • 「east west」ネットワークトラフィックを処理するため、物理コロケーションが重要だった
• データセンターのHVACにおける「CRAC」容量計算の重要性を強調
• Googleのカスタマーサービスへの不満を表明
  • AWSやMicrosoftの顧客サポートと比較
• Netboxのようなツールの必要性に言及
• 2003年から2010年の間のデータセンター展開経験を共有
  • ケーブル管理と標準化の重要性を強調
• データセンターにおける「WTF」セクションの重要性を強調
• AWSのコスト削減のため、コロケーションを通じてVMを運用した経験を共有
• インフラ企業として資産を所有する重要性を強調
  • Cloudflareが無料サービスを提供できる理由を説明
• ケーブル管理の重要性を強調
  • 銅線ケーブルと光ファイバーケーブルを混在させる際は注意が必要だと指摘