Cloud TPU v5e
- 最もコスト効率が高く、多用途で、スケーラブルな Cloud TPU であり、Google Kubernetes Engine (GKE)、Vertex AI、Pytorch、JAX、TensorFlow など主要フレームワークとの統合を提供
- Cloud TPU v4 と比べ、LLMs および gen AI モデルに対して、1ドルあたり最大2倍高い学習性能と最大2.5倍高い推論性能を提供
- さまざまな LLM および gen AI モデルのサイズに合わせた構成を選べるよう、8種類の仮想マシン (VM) 構成をサポート
- Multislice 技術の導入により、物理的な TPU Pod の境界を超えて、AI モデルを数万個の Cloud TPU v5e または TPU v4 チップへ拡張可能
A3 GPU VM
- NVIDIA の H100 Tensor Core GPU を搭載。特に要件の高い gen AI ワークロードおよび LLMs の学習と提供のために特別に設計されており、来月に一般提供開始予定
- A3 VM は前世代と比べて3倍高速な学習性能と10倍高いネットワーク帯域幅を提供し、大規模なスケールと性能を実現
まだコメントはありません。