- GTC 2022で、次世代Hopper™アーキテクチャと、それをベースにしたH100を発表。
→ Grace Hopperにちなんで命名。Ampereアーキテクチャを継承
- 大規模AIとHPCを加速する6つの技術革新
- TSMCの4nmプロセスで800億個のトランジスタを集積。PCIe Gen5に対応し、HBM3メモリを採用した初のGPU(3TB/sのメモリ帯域幅)
- 新しいTransformerエンジンにより、前世代比で6倍高速化
- 第2世代のセキュアなMulti-Instance GPU - MIG技術により、1つのGPUをより小さな単位に分割し、分離されたワークロードの実行が可能。Hopperアーキテクチャにより、MIGは従来世代より7倍向上
- 初のConfidential Computingアクセラレータとして、処理中のAIモデルと顧客データを保護
- 第4世代NVIDIA NVLink - 最大256基のH100 GPUを、従来のNVIDIA HDR Quantum InfiniBand比で9倍高い帯域幅で接続
- 新しいDPX命令により、アルゴリズム、経路最適化、ゲノミクスで使われる「動的プログラミング」を高速化。前世代GPU比で7倍、CPU比で40倍高速。
- 言語モデルMegatron 530Bを、前世代比で最大30倍高いスループットでサポート
1件のコメント
MSとNvidiaが世界最大規模の言語モデル MT-NLG 530B を発表