Meta、カスタムCXLブリッジチップで旧型RAMを新サーバーで再利用
(theregister.com)- Metaは廃棄される可能性のある DDR4メモリを新しいDDR5サーバーに接続し、一部の分離型推論ワークロードで必要なサーバー数を最大 25% 削減
- サーバーフリートの約 40%はメモリ増設が不可能である一方、メモリはサーバーより長く使えるため、DIMMの再利用がコスト削減手段になる
- 自社ASIC VistaraはDDR4をCXL 2.0/1.1互換のPCIe Gen5 x16インターフェースで接続し、既存のCXL機器におけるDDR4再利用の限界を回避
- Vistaraベースの MemServerはAMD Turin、768GB DDR5、256GB DDR4を組み合わせ、DDR4をOSにCPUのない別個のNUMAノードとして公開
- CXL拡張メモリは、OOMによるジョブ失敗や再起動、リソース断片化のオーバーヘッドを 33%削減し、大規模インフラ運用の負担を下げる
DDR4を再利用することになった背景
- Metaは旧型サーバーから回収した DDR4 DIMMを新しいサーバーに装着し、共有可能なメモリプールとして構成
- サーバーフリートの約 40%はメモリ増設が不可能で、一部のワークロードを処理しにくい
- サーバーの想定寿命は 3〜5年である一方、メモリは 7〜10年にわたって有用に使える
- この寿命の差により、古いサーバーのメモリを新しいシステムで再利用する方法がインフラ効率化の手段になる
- 増設不可サーバーの割合: {p:40}
CXL導入の制約とVistaraの役割
- CXLは複数ホスト間でのメモリ共有を可能にするが、本番環境では 低帯域幅、高レイテンシ、追加のメモリ階層管理オーバーヘッドが負担になり得る
- 異なるメモリ技術を1つのシステムに組み合わせる場合、こうした制約はさらに目立つ可能性がある
- Metaは単一マシン内で複数のメモリタイプを混在させようとしたが、既製のCXL機器は要件に合わなかった
- ほとんどのCXLソリューションはDRAMとコントローラーを一体化しており、DIMM再利用を難しくする
- DDR4サポートが省かれていることが多く、古いメモリの再利用に適していない
- 消費電力とコストも導入の魅力を下げる
- この空白を埋めるため、MetaはカスタムASIC Vistaraを開発
Vistara ASICの構成
- VistaraはDDR4メモリをホストプロセッサに接続する CXLブリッジとして機能
- 主要インターフェースは CXL 2.0/1.1互換PCIe Gen5 x16
- 各Vistara ASICは次の構成を持つ
- 独立した 72ビットDDR4メモリチャネル2本
- 最大 3,200 MT/s の速度をサポート
- 64GB DIMM使用時にチップあたり最大 256GB をサポート
- ASICの駆動にはカスタム RISC-Vプロセッサ2基が使われる
MemServerのハードウェアとソフトウェア
- Vistaraハードウェアは、Metaが MemServer と呼ぶ装置に搭載される
- 各MemServerは次の要素を組み合わせる
- AMD Turin プロセッサ
- 158コア、316スレッド
- 768GB DDR5 メモリ
- Vistara ASICで接続された 256GB DDR4
- Vistara CXLカードはMemServerシャーシ内の背面アクセス専用スロットに取り付けられる
- 高密度メモリとCXLデバイスの熱負荷に対応するため、シャーシは大容量ファンと指向性のあるエアフローで、Vistaraモジュールに冷却空気を直接送る
- ソフトウェア面では、DDR4はOSに CPUのない別個のNUMAノードとして表示され、プロセッサに直接接続されたローカルDRAMノードと分離される
- Metaプラットフォームは利用可能なローカルDDR4を先に使い、必要に応じてCXLベースのメモリを使用する
- Vistaraで使われるLinux CXLドライバーコードは、すでにアップストリームカーネルに存在するか、アップストリーム取り込み手続きが進行中
本番適用と運用効果
- MetaはVistaraベースのCXL構成を 数百万台規模のサーバーからなるハイパースケールインフラに適用
- 適用ワークロードには次が含まれる
- レコメンドシステムの埋め込みテーブルを含む 分離型ML推論
- ビッグデータ処理
- データベース
- 分散キャッシュ
- CI/CDビルドシステム
- SparkやHiveのようなビッグデータツールはテラバイト・ペタバイト規模のデータセットを扱い、ジョブあたり数百GBのメモリを必要とすることがある
- こうしたワークロードで OOMイベントが発生すると、中核的なビジネス分析やMLパイプラインが停止する可能性がある
- CXLで拡張されたメモリ余力はOOMリスクを下げ、ジョブ失敗、ジョブ再起動、リソース断片化に関するオーバーヘッドを 33%削減
- 分離型推論では、サーバー数を最大 25%削減する効果が出ている
- Metaは高いメモリ価格を避ける効果も得ている
- 運用オーバーヘッド削減: {p:33}
- 分離型推論サーバー数削減: {p:25}
1件のコメント
Hacker News の反応
William Gibson の Neuromancer 冒頭で、主人公が闇市場で RAM 3MB を売ろうとする場面があるが、これはこの本が時代に耐えられなかった例としてよく引き合いに出される
でも最近のメモリ市場の流れを見ると……もしかすると、私たちはまだそこまで到達していないのかもしれない
今では Web フォームひとつに RAM を GB 単位で使っている。Gibson がサイバースペースの意識ひとつに RAM 3MB で十分だと考えたのは非常に楽観的だが、当時の空気にはよく合っている
2000年に Diablo II が出たばかりの頃、450MHz の Pentium III と RAM 64MB を積んだコンピュータを借りて使えたが、当時 RAM 64MB は中級程度で、当たり前の仕様ではなかった。記憶では Diablo II はシングルプレイに 64MB、マルチプレイに 128MB を推奨していた
今この文章を書いているコンピュータは RAM 64GB なので 1024倍だ。一方で CPU は 20コアの Intel で最大 3GHz 程度、各コアが同時に最大速度で回ると仮定しても CPU 性能の伸びは 133倍程度にとどまる
NVMe の読み出し時間はメモリ容量の増加と同じくらい、あるいはそれ以上に重要かもしれないが、PC の仕様表ではメモリや CPU ほど前面には出てこない
HDD 容量の増加も RAM に劣らず印象的ではある。2000年にはだいたい 10〜30GB くらいだった気がするが、今は 10TB のディスクが必要ないので使っておらず、1TB で十分だ。だから個人的にはメモリほどの実感はない
こうしたマシンのメモリ容量は、もともとワードサイズで表現されることが多かった。たとえば「このマシンはコアメモリ 8キロワードを搭載している」といった具合だ。だから古い小説で時代錯誤なメモリ容量を見ても、単に自分が彼らの使っているワードサイズを知らないだけだと思うことにしている
もっとも、FaceTime を一回すれば悲劇は防げたかもしれないが
どうしてもっと詳しい原文記事に直接行かないのか分からない
https://www.theregister.com/systems/2026/06/29/zuck-saves-me...
ざっと見ると、多数の DDR4 を PCIe カードに挿して スワップ領域 のように使うものだと考えられる。実際には CXL プロトコルのためもっと洗練されているが、トレードオフとしてはそう理解すればよい
高速なメイン DRAM と遅延の大きい拡張 DRAM の間でホット/コールドページを移動させるための、OS レベルのサポートもあるようだ
DRAM は寿命がかなり長く、製造過程ですでに相当量の内在炭素排出を抱えており、同時に新しい DRAM の供給危機もあるという点は、非常にもっともな問題提起だ
https://www.blocksandfiles.com/architecture/2026/06/26/panmn...
以前から、「古くなったり余ったSIMM/DIMM、1〜2世代前のメモリを大量に挿してスワップ/低速メモリ/RAMディスクとして使う安価なPCI/PCI-X/PCIeカード」の市場が、なぜ大きく生まれなかったのか気になっていた
マザーボードのアドレス空間を最新メモリで埋め尽くすケースはまれだし、カーネルにも速度に応じてどのメモリを優先するか教えられるので、当然できそうに思える
フラッシュで似たことをやろうとした市場は特許問題で潰れた記憶があるが、詳しいことはうろ覚え。それでもフラッシュキャッシュは少なくとも大手の領域では市場になった。ここでも似たようなことがあったのか、あるいは当時自分が関心を持っていたニッチにだけ当てはまる話だったのかもしれない
[1] この分野の製品がいくつかあったことは知っているが、大きくは流行らなかったという印象。間違っているかもしれない
[2] NetBSDでは確実に可能。VMEbusのようなアーキテクチャで実際にやったことがあるが、小さくて速いオンボードメモリと、バス側のより遅いが大きいメモリが共存する構成はよくある。LinuxでもNUMA対応のおかげでこうしたことはできそうだが、自分では確認したことがない
今は状況が変わり、人々がこのアイデアを見直し始めている
システムは5回に1回くらいしか起動せず、メモリ速度設定をどう変えても安定しなかった
https://www.ebay.com/itm/383521792853
DDR2がすでにDDR3より高いのは、もう生産されていない一方で、古いハードウェアのメモリ交換やアップグレード需要が残っているためである可能性が高い
キャッシュコヒーレンシがないと、そのメモリをどう使うかをずっと慎重に考える必要があり、性能の話も複雑になる。CXL上のRAMはCPUメモリコントローラに直結されたRAMより性能は落ちるだろうが、大きな落とし穴はないはずだ
カスタムチップを設計したくないなら、標準製品のCXLメモリ拡張チップがある
https://www.marvell.com/products/cxl.html
https://www.asteralabs.com/products/leo-cxl-smart-memory-con...
今回の「RAM危機」で興味深いのは、他の分野と同じく、問題が起きると複数の主体が代替策を探し始めることだ
その結果、危機の後には、できればローカルマシンにも波及するようなメモリブームを生む興味深いアイデアや回避策が出てくるかもしれない
第一に、Appleが新たな中国メーカーを検討しており、品質保証が問題なければ需給構造が変わる可能性がある。(https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
第二に、各社が性能面での回避策を探している。突然シングルチャネルでも「十分」になったということ？ :)
(https://www.gigabyte.com/press/news/2403)
資源不足と動機付けの間には密接なつながりがある。最大規模のフロンティアモデルがRAM、SSD、GPUにかける需要が、より小さなLLMを作る直接的な動機になっている。動物がより小さく、より少ない餌で済む方向へ進化圧力を受けるのと似ている
こうした小型モデルが成功しても、高品質な動画処理のような例を除けば、なお他のどんなアプリケーションよりもRAM、SSD、GPUを多く使う可能性が高い。小さなLLMと高度な映像処理は、必要資源がかなり近いように見える
ただ、資源が市場全体により伝統的な形で分散されることで、今ほど狂ったサイクルではなくなるかもしれない
だから、メーカーが直面しているRAM/SSD価格の循環的危機、つまり供給制約と新たな生産能力による過剰供給の間で価格が上下する問題の出口は、より小さなLLM研究に資金を出すことなのかもしれない。どうせほぼ同じ量の製品を売ることになるし、もしかするともっと売れる可能性すらある
これをコンシューマ向けにも作ってほしい。古いRAMがかなりある
https://en.wikipedia.org/wiki/I-RAM
こうした構成は、エンジニアがアーキテクチャに合わせてカスタマイズやチューニングを行えるサーバーファームにより適している
RAMをストレージとして使うカードもあったが、ディスクとして設定しなければならず、用途が非常に限られていたため、人気は出なかった
今のDDR4中古価格を見ると、売ってNVMeドライブを買ったほうが良いかもしれない
ServeTheHome はすでに12月に CXLメモリ拡張コントローラ を取り上げていた
https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...
論文にはこうある: 「我々のCXLソリューションはさまざまなワークロードで大きな改善を達成し、分散ML推論ではサーバー台数を最大25%削減した」
より劣るRAMを使っているのに、どうして同じワークロードで サーバー台数25%削減 が可能なのか分からない
今後数年間、消費者向け電子機器市場がどうなるのか興味深い。企業はいまRAM不足のせいで消費者がより高い価格を受け入れると賭けている
ただ、ほかのあらゆるコストも上がっている状況なので、かなりの数の消費者はしばらく新しい機器を買わない気がする。HN基準ではなく、誰もがテック業界の給与をもらっているわけではないことを覚えておくべきだ
あらゆるものがますます敵対的になってきて、限界点に達した
Microsoft が Win11 向けの新しいハードウェアを無理やり押し進めようとしたせいで、Win10 もすでに1年延長された
いいね、これで 中古RAM価格 まで急騰するかもしれない
PCの価格がまた自動車1台分になるといいな。収益化の機会が本当にたくさん増えるだろうから