OPT - Metaが公開したGPT-3規模（175B）の言語モデル
(arxiv.org)"Open Pre-trained Transformer Language Model"
- このような大規模言語モデルは、構築にかなりの資本が必要であり、APIアクセスだけの公開では研究が難しい
- 関心のある研究者向けに、モデル全体と実験用コード、ログブックをすべてダウンロード可能な形で公開
- GPT-3よりCarbon Footprintが1/7で済む
"Open Pre-trained Transformer Language Model"
1件のコメント
https://github.com/facebookresearch/metaseq