AITemplate - 深層ニューラルネットワークを高性能な CUDA/HIP C++ コードに変換する Python フレームワーク
(github.com/facebookincubator)- 高速な推論のために、深層ニューラルネットワークを CUDA（NVIDIA GPU）/ HIP（AMD GPU）C++ コードへ変換
- ResNet、BERT、VisionTransformer、Stable Diffusion などの主要モデルで、ルーフライン fp16 TensorCore/MatrixCore 性能に近い水準を実現
- Unified、Open、Flexible なオープンソース
- 優れた下位互換性（サードパーティ製ライブラリ/ランタイムへの依存なし）。各モデルはポータブルバイナリとしてコンパイル
- Horizontal Fusion / Vertical Fusion / Memory Fusion
- PyTorch あり/なしで動作
まだコメントはありません。