Replit Code - 10日で学習されたオープンソースのコード生成LLM

 (huggingface.co)
19 ポイント 投稿者 kuroneko 2023-05-04 | 2件のコメント | WhatsAppで共有
  • Replitが、新しいコード生成LLMを商用利用可能なオープンソースとして公開。
  • 2.7Bパラメータで軽量かつ高速で、学習は10日で完了。
  • 同クラスのモデルと比べて40%性能が向上し、ファインチューニングされたモデルはCodexより高性能。
  • The Stackデータセットで学習されており、20以上の言語を生成可能。
  • Hugging Faceですぐにデモを利用可能。

関連記事

2件のコメント

 
kuroneko 2023-05-04

最近は、商用利用可能なオープンソースLLMがかなり増えてきたように感じます。LLaMAに刺激されたのでしょうか……

それに、モデルサイズに対する性能がかなり良くなっている点も気に入っています。
このくらいなら、一般的な（GPUなしの）開発用コンピューターでローカル実行できるレベルではないかと思います。