MPT-7B、商用利用可能なオープンソースLLM
(mosaicml.com)- 1兆トークンで学習されたトランスフォーマー
- LLaMA-7Bと同程度の品質だが、オープンソースで商用利用可能
- 追加で3つのファインチューニング済みモデルも公開
- MPT-7B-Instruct、MPT-7B-Chat、MPT-7B-StoryWriter-65K+（65Kトークン対応）
- MosaicMLプラットフォームで9.5日間、約 ~$200K のコストをかけて学習されており、独自のMPTモデルを訓練、ファインチューニング、デプロイ可能
- MPT: Mosaic Pretrained Transformers
2件のコメント
最近、商用利用可能なオープンソースLLMモデルがものすごい勢いで登場しているのを見ると、
LLM界のStable Diffusionになることを目指して競争しているように見えますね。
最終的に誰が勝者になるのか楽しみです。 +_+
ひとまずChatGPTと先に連携して開発し、後で最も進化したオープンソースに置き換えるのが良い代案だと思います。