MSとNvidiaが世界最大規模の言語モデル MT-NLG 530B を発表

 (developer.nvidia.com)
8 ポイント 投稿者 xguru 2021-10-13 | まだコメントはありません。 | WhatsAppで共有

  • Megatron-Turing Natural Language Generation

  • GPT-3 の1750億個を上回る5300億個のパラメータ

  • 従来とは比較にならない精度を実現

→ 文の補完、理解力、常識的推論、自然言語推論など

  • 105レイヤー、トランスフォーマーベース

  • NVIDIA A100 Tensor Core GPU & HDR InifiniBand ネットワーキング

  • スーパーコンピューティングクラスターの NVIDIA Selene と Microsoft Azure NDv4

関連記事

まだコメントはありません。

まだコメントはありません。