速度、スケーラビリティ、信頼性：25年にわたるGoogleデータセンターネットワーキングの進化

• Googleのネットワークは一朝一夕で作られたものではなく、25年にわたるエンジニアリング革新と節目を経て、現在の第5世代Jupiterデータセンターネットワークアーキテクチャへと発展してきた
• 現在のJupiterネットワークは、双方向で13ペタビット/秒の帯域幅までスケール可能。これは地球上の80億人全員が同時にビデオ通話（@1.5Mb/s）を行えるレベル

主な原則

• 何でも、どこでも: Googleのデータセンターネットワークは、大規模なジョブを同一ネットワークファブリック内の10万台以上のサーバーのどこにでも配置できるよう支援する。この規模により、内部および外部ワークロードに対するアプリケーション性能を向上させ、内部断片化を排除する
• 予測可能で低遅延: 帯域幅のヘッドルームをプロビジョニングし、99.999%のネットワーク可用性を維持し、エンドホストとファブリックの協調によって輻輳を事前に管理することで、一貫した性能とテールレイテンシの最小化を優先する
• ソフトウェア定義とシステム中心: 柔軟性と俊敏性のためにソフトウェア定義ネットワーキング（SDN）を活用し、グローバルネットワーク上で2週間ごとに数十の新機能を検証して世界的にリリースする
• 段階的進化と動的トポロジー: 段階的進化により、ネットワーク全体を停止させることなく細部を刷新でき、動的トポロジーは変化するワークロード要件に継続的に適応するのに役立つ。光回線スイッチングとSDNの組み合わせは、物理的アップグレードと単一ファブリック上で複数世代のハードウェアをサポートする、絶えず進化する異種ネットワークを支える
• トラフィックエンジニアリングとアプリケーション中心のQoS: トラフィックフローを最適化し、サービス品質を保証することは、各アプリケーションの要件に合わせてネットワークを最適化するのに役立つ
• Google独自のSDNであるJupiterネットワークは、前世代比で50倍以上の信頼性を提供する

進化の歴史

2015年 - 初のペタビットネットワーク Jupiter

• Googleは、商用スイッチシリコン、Closトポロジー、ソフトウェア定義ネットワーキング（SDN）を活用し、Jupiterデータセンターネットワークが総帯域幅1.3 Pb/sまでスケールすることを示した
• 当時、単一のGoogleデータセンターにおけるこのデータ転送速度は、世界のインターネットで推定される総IPトラフィックのデータ速度を上回っていた

2022年 - 6ペタビット/秒をサポート

• Googleは、Jupiterネットワークが、光回線スイッチング（OCS）、波長分割多重（WDM）、および高度にスケーラブルなOrion SDNコントローラの深い統合によって、6Pb/s超へスケールすると発表した
• これらの技術により、段階的なネットワーク構築、性能向上、コスト削減、消費電力低減、動的トラフィック管理、シームレスなアップグレードなど、さまざまな進歩が可能になった

2023年 - 13ペタビット/秒ネットワーク

• Googleは、ネットワークコアで標準400Gb/sリンク速度をサポートするようJupiterをさらに強化した
• Jupiterネットワークの基本構成要素（集約ブロックと呼ばれる）は、現在、エンドホストとデータセンターの他の部分に対して、400Gb/sの双方向ノンブロッキング帯域幅をサポートする512ポートで構成される
• 合計双方向帯域幅 64*204.8 Tb/s = 13.1 Pb/s のために、このようなブロックを64個サポートする
• この技術は、1年以上にわたりGoogleの本番データセンターを支えており、人工知能、機械学習、ウェブ検索、その他のデータ集約型アプリケーションの急速な発展を後押ししている

2024年以降 - AI時代の極限ネットワーキング

• Googleは、今後のAIを支える次世代ネットワークインフラの方向性をすでに定めている
• NVIDIA ConnectX-7ネットワーキングを特徴とする、次世代GPUベースのA3 Ultra VM向けネットワークインフラ要件に取り組んでいる
• これは、RoCE(RDMA over converged ethernet)を通じて、GPU間トラフィックに対しサーバーあたりノンブロッキング3.2 Tbpsをサポートする
• NVIDIA GB200 NVL72に基づく将来製品に関する作業も進行中

今後数年間で、ポートあたりおよびネットワーク全体の帯域幅と規模の大幅な進展、エンドホスト統合の強化、リアルタイムトポロジーエンジニアリング、コンピューティング/ストレージスタックとの深い統合、ホストベースのロードバランシング改善などを通じて、変革的なアプリケーションとサービスを支えていく予定