Turing-NLG、MSが公開した170億（17b）パラメータの言語モデル

 (microsoft.com)
2 ポイント 投稿者 xguru 2020-02-12 | まだコメントはありません。 | WhatsAppで共有

  • Transformer ベース

  • BERT-Large 340M、RoBERTa 355M、OpenAI GPT-2 1.5b などと比べて10倍以上のパラメータを持つ最大規模モデル

  • DeepSpeed と ZeRO があったからこそ実現可能

紹介ページの要約文自体も Turing-NLG によって作られたとのこと

"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."

関連記事

まだコメントはありません。

まだコメントはありません。