Googleの液体冷却: Hot Chips 2025で公開

 (chipsandcheese.com)
4 ポイント 投稿者 GN⁺ 2025-08-26 | 1件のコメント | WhatsAppで共有
  • 液体冷却は、データセンターにおける高電力チップの発熱問題を解決するため急速に広がっている
  • 空気より約4,000倍高い熱伝導率を持ち、特にAIブームによるTPU冷却需要に対応するため、Googleが積極的に導入している
  • GoogleはCDU(Coolant Distribution Unit) ベースのラック単位の液体冷却ループを運用し、保守性と拡張性を高めている
  • Split-flowコールドプレート、ベアダイ冷却(TPUv4) など、高性能PC市場の手法をデータセンタースケールに適用している
  • 液体冷却はファンと比べて消費電力が5%以下と効率的であり、漏水・微生物増殖といった問題に備えて、Googleは徹底した検証、通知システム、予防保守を併用している
  • NVIDIA、Rebellions AIなども液体冷却を採用し、データセンター冷却の標準化の流れが加速している

液体冷却の必要性と背景

  • 液体冷却はPC愛好家の間ではなじみ深く、企業向けコンピューティング環境でも長い歴史を持つ
  • 近年、AIおよび機械学習ワークロードの電力消費増加により、データセンターでの液体冷却の重要性が大きく高まっている
  • Googleは水の熱伝導率が空気に比べて約4,000倍高い点に注目し、最新チップの高発熱への対策として採用した
  • Hot Chips 2025でGoogleは、TPU(機械学習アクセラレータ)の冷却に関連するデータセンター規模の液体冷却方式を紹介した

Googleの液体冷却システム構成

  • Googleは2018年からTPUに液体冷却を適用し、さまざまな実験と改善を重ねてきた
  • 最新の冷却ソリューションはサーバー内に限定されずラック全体に液体冷却ループを適用している
  • 1つの冷却ラックは6基のCDU(Coolant Distribution Unit) で構成され、これはPCのラジエーター+ポンプ一体型に近い役割を果たす
  • 柔軟なホースとクイックディスコネクトカップリングを導入し、保守のしやすさと設置許容差を改善している
  • 6基のうち5基だけを稼働させても十分な冷却が可能で、1基を保守する際にも全体停止は不要である

熱交換とチップレイアウト

  • CDUは内部冷却水とデータセンターの外部供給水の間で熱のみを交換し、2つの液体は直接混ざらない
  • CDUから出た冷却水はマニホールドを通じて複数のTPUサーバーへ分配される
  • TPUチップ接続は順次(シリーズ)構成で、ループ内の最後のチップの熱需要を基準に全体の冷却予算を算定する

冷却技術の最適化

  • Split-flow cold plate構造を適用し、従来の直線型設計より向上した冷却性能を確保している
  • さらにbare-die冷却(TPUv4、過去のTPUv3はlidded)を適用しており、一般に上級PC愛好家が熱伝達効率を高めるために行う「delidding」に近い
  • TPUv4はv3比で1.6倍高い消費電力のため、このような追加冷却方式を必要とする

電力効率と熱移動

  • 液体冷却ポンプの消費電力は、従来の空冷ファン電力に対して5%未満とされる
  • Googleのシステムはwater-to-water熱交換方式を通じて、実質的な冷却動力の大部分をポンプが担う
  • PC愛好家の環境では多くの場合ファン+ラジエーターの組み合わせが残っており、データセンターほど電力面の利点は大きくない

保守、信頼性、安全性

  • 保守の観点では、微生物繁殖や漏水リスクなど、水冷システムに共通するリスクがデータセンター規模でも存在する
  • クイックディスコネクトフィッティング、予備CDUなど、さまざまな保守支援機構によってダウンタイムなしの大規模運用を目指している
  • 予防保全、漏水テスト、各種異常信号の検知、体系的な対応プロトコルを整備し、全社的な一貫性と信頼性の確保策を講じている
  • これは個々のPC愛好家による非公式な管理方法とは対照的である

業界動向とAIブーム

  • NVIDIA、Rebellions AIなどもHot Chips 2025の展示でさまざまな外部液体冷却システムを披露した
    • NVIDIA GB300サーバー: 外部液体冷却ポートとファンを併設
    • Rebellions AIは韓国企業で、新しいMLアクセラレータ「REBEL Quad」のプロトタイプを、クーラーとチラーを組み合わせた類似方式で実演した
  • AIワークロードの増加は、今後もデータセンター向け液体冷却への需要と採用をさらに加速させる見通しである

関連記事

1件のコメント

 
GN⁺ 2025-08-26
Hacker Newsのコメント

  • 以前、Azureデータセンター構築を統括するSVPのインタビューを見たことがある。ある時点で、自分はもはやコンピュータ事業ではなく産業用冷却事業に携わっているのだと気づいてから、仕事がずっと簡単になった、という話が印象に残っている。今回の記事を読みながら、まさにその話を思い出した。

  • メインフレーム（S/3x0、Crayなど）は50年以上にわたって広く水冷を使ってきたし、スーパーコンピュータ級のHPCデータセンターも少なくとも20年間は液冷を活用してきた。Google級のデータセンター設計をPCマニアの冷却と比較するのはやや奇妙に感じる。これは過去を忘れているか、比較対象が完全に間違っている例だ。

    • bri3dの指摘のおかげで、自分が最初に理解していたよりも今回のGoogleの事例は新規性が低いと分かった。革新のポイントは「水を使うこと」ではなく、サーバーを冷やすチラーが施設の外に設置されている点だ。ほとんどのメインフレームも水冷で内部の熱を外側へ運び、ヒートシンクや冷却ファンが熱を逃がすようになっているが、Googleは建物の内部ではなく施設全体向けの巨大なチラーを使って、各サーバーに直接冷却水を循環させている。戻ってきた熱い水はチラータワーで再び冷やされる。実質的に空気ベースの冷却は、チラータワーを除けば完全に排除されている。一部のサーバーやラックだけではなく、データセンター全体を同時に処理している。チラーの保守やポンプ故障時にどうするのか気になる。無停止のために相当な冗長化があるはずだ。AWSも似たシステムを導入しており、説明写真が分かりやすいので参考になる。AWSデータセンターの液冷記事
    • Googleには安価な汎用ハードウェア基盤の歴史があるので、この変化はそれほど驚きではない。ちょうどx86サーバーがメインフレームの機能（仮想化など）を取り込むのに数十年かかったのと似ている。関連ブログ
    • 記事では「液冷はPCマニアにはおなじみで、エンタープライズコンピュートでも古くからある概念」と書かれていた。データセンターもサーバー単位の受動冷却や高温動作へ向かうトレンドだったが、今回の件はその流れを大きく覆す事例だ。おそらく行単位冷却（per-row cooling）が主因かもしれない。
    • HPCデータセンターが20年以上液冷を使ってきたとは言うが、主にラックドアなどの部位に適用されていたのではないかと思う。最近の第2世代サーバーあたりから、ようやく本当の意味でサーバー内部への直接液冷（DLC）が適用されたようだ。IntelのハイエンドCPUのせいで半ば強制された面もある。既存データセンターへの導入が難しくて厄介だったし、冷却バッグの液漏れ問題でサービス依頼も多数出した（メーカー名は非公開）。
    • ハイパースケールのデータセンターは通常、電力密度を最大化する必要がなく、密度を上げるとさまざまな問題が生じるため、設計者はむしろ避ける傾向がある。現代のHPCクラスターが密度を気にするのは、実際には誤った視点かもしれない。ただしMLワークロードでは、物理的に近く配置するとインターコネクト効率が良くなる利点がある。

  • 理論上、データセンターの冷却は単純だ。CPUは60〜70度で動作し、外気温はたいてい30度以下なので、ファンとポンプの少しの助けがあれば熱は自然に「下っていく」構造だ。問題は、空冷では施設のスタッフがコンピュータ冷却に使われるのと同じ空気を吸わなければならないことだ。冷房温度が上がると、スタッフの健康には良くない（うちではホットアイルを冬でも100F程度まで運用し、3ラックごとに熱交換器を設置して外部チラー水で冷却している）。外気温が上がると、熱を建物の外へきちんと逃がすには冷却流体の温度をさらに高くする必要があり、チラーが不可欠になる。暑い時期にはエネルギー消費も大幅に増える。もしデータセンター全体を液冷に切り替えるなら、ラックから出てくるクーラント温度をはるかに高くできるし、最も暑い時期でもチラーなしで放熱できるかもしれない。現状では一部だけが液冷で、クーラント温度はホットアイル温度に合わせて制限されている。この温度だけでもすでにかなり暑いと感じる。

    • 「CPUが60〜70度、外は30度以下だから熱は勝手に下る」という見方は正しくない。実際には、CPUは動作電力で発生した熱を外部へ伝えなければならず、熱インピーダンスが大きいとCPUが過熱して故障する可能性がある。
    • 15年前、IBMがETH Zurichに設置したスーパーコンピュータは60度の温水クーラントを使っており、ラジエーターを通じて建物の給湯システムに直接接続されていた。Aquasarの紹介
    • いつか冷房効率を極限まで高めるために、データセンターの作業員がヒートスーツのようなものを着て入るようになるのか気になる。

  • 記事ではTPUチップを直列につないで冷却水ループを通し、最後のチップ温度に合わせて容量を見積もるという話があった。4つのチップがそれぞれ250Wを出し、ポンプが毎分1リットルの水を送るなら、入口に比べて出口は必ず14度高くなる。これは直列でも並列でも同じだ（水の比熱のため）。

    • 直列接続の場合、最後のチップでの熱伝達効率は並列接続より低い可能性がある。水が最初よりも熱い状態で最後のチップに到達するからだ。温度差が小さいので、熱がよりゆっくり抜ける。
    • 実際には、直列と並列の構成によって流速の計算方法を変える必要がある。工学的には実質的な差が生じる。
    • 圧力を十分に高くすれば、毎分1リットルよりはるかに大きい流量も可能だ。デスクトップ基準の18Wに対して、サーバーはおおよそ10倍程度になる。
    • 直列接続だと一部のチップが「過冷却」になり、最も熱いチップに合わせるにはより多くの冷却水が必要になる。

  • もう以前ほどGoogleインフラに大きな期待はしていない。Googleがインターネットの自由を損なう動きを続けているので、好感度が大きく下がった。今では、彼らが導入する液冷システムのようなものにもあまり感銘を受けない。細部次第で難しいのだろうが、特別に革新的とも感じない。もしGoogle社員がこれを見て気分を害したとしても、個人ではなくGoogle自体の問題だと思ってほしい。すごい仕事は別の場所でもできることを考えてみてもいい。

  • B1Mで見た興味深い事例を思い出した。パリ五輪のプールはインターネットの熱で温められているらしい。YouTube動画

  • AIが水を浪費するという話をよく見るが、今回の事例もそういう形なのか気になる。CDUが施設内の水を蒸発冷却に使っているのか知りたい。

    • CDUはデータセンター内部に設置され、ラックのクーラントから施設側クーラントへ熱だけを渡す。屋外には熱交換設備があり、この過程でしばしば冷却塔に水を散布して蒸発冷却を行う。データセンターごとに構成は異なるが、施設冷却自体はどこでも存在する。AIが水を浪費するという議論はやや食傷気味だ。水は循環系の中で効率のよい場所へ移されるだけでもある。市場で水に関するコストや外部性が実際に反映されるようになれば、もっと意味のある議論になると思う。米国では、水の価格や権利、実際の水の効用などが適切に結びついていないのが問題だ。
    • AWSも最近似た記事を出していた。AWSデータセンターの液冷記事 ただ、排出された熱い水をどう冷やして再利用するのか、その方法が明確に説明された事例をまだ見たことがない。この点が一番気になる。
    • AIが水を使うことについて、具体的な数値やきちんとした議論はほとんど見ない。まるで道路を車が使うように水を使う、といった曖昧な表現ばかりだ。実際に水が浪費されているという印象を与えるが、明確なデータがあるなら曖昧に示唆する必要はないはずだ。水が本当に消費されるのは、飲料水として使えない状態に変わるか、蒸気として失われるか、スラッジなどに閉じ込められて回収不能になる場合だ。こうしたことが実際に起きているのか、そして本当に問題なのか知りたい。データなしで意味のない数字だけが一人歩きしているのがもどかしい。
    • 関連記事あり。Texas AIデータセンターと水浪費問題

  • 水冷の経済性が気になる。チップが高価になってより速く回す必要があるから液冷が有利になったのか、それともデータセンターのスペースが高価で、密度をさらに上げる必要があるからなのか、あるいは信号伝送距離（1フィート = 1ナノ秒）を縮めればそれだけ計算効率が上がるからなのか、と考えている。

    • データセンター全体の電力のかなりの部分が冷却に使われる。冷却効率が上がるだけでそのままコスト削減になる。
    • 配線距離の影響は実際には非常に小さいと思う。最高クラスのインターコネクトファブリックでもピンポン時間（要求/応答の往復）は1マイクロ秒程度で、フィート単位の長さの差は数十ナノ秒にすぎない。大規模クラスターで密度を2倍にしても、往復信号遅延が増えるのは約60ナノ秒程度（全体の1マイクロ秒のうち6%未満）だ。実アプリケーションへの影響は大きくない。ただし密度が上がれば、バックプレーンや銅コネクタでより多くのチップを直接接続しやすくなる。
    • 実際には理由2と3の混合だ。チップはますます小さくなり、より多くの電力を使うので、同時に熱くなる。大量のファンも追加で多くの電力を消費する。液冷は chip→liquid の直接冷却なので、ファン、エアコン、追加循環のコストを削減できる。ServeTheHomeの関連記事を参照。Supermicro液冷の消費電力影響分析
    • 従来型のコンピューティング作業はよく分からないが、TPUのようなメモリ中心の演算では配線距離の差はかなり重要だと思う。
    • チップ同士を超高速ネットワークで接続する必要があるため、密度を高めることが重要だ。

  • 理論上、PCユーザーもトイレのタンクに放熱水を循環させれば、流すたびに効率よく冷却できる。未来はここにある。

  • 2006〜2012年ごろ、データセンターでよく働いていた。夜遅くに行かなければならないことも多かった。データセンターは思っている以上に過酷な環境だ。冷却がもう少し静かで極端でなければよかったと思う。ポートなどが背面にあるのは、まさにそちらが吸気側だからだ。暖かい側に行って手を温めたりしていたのを思い出す。