StarCoder、BigCodeプロジェクトが公開したコード向けLLM

 (huggingface.co)
16 ポイント 投稿者 xguru 2023-05-08 | 3件のコメント | WhatsAppで共有
  • 80以上のプログラミング言語について、1兆トークンで学習された15.5Bモデル
  • 効率的な生成のためにMQAを使用し、8192トークンのコンテキストウィンドウを持つ
    • StarCoderBase : 80以上の言語データを持つThe-Stack v1.2（6TB）データセットで学習
    • StarCoder : Pythonについてさらに追加学習したモデル
  • Chat DemoおよびVSCode向け拡張機能を提供

関連記事

3件のコメント

 
ninebow 2023-05-08

Twitterの告知投稿にある論文リンクです。 :)

https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view
 
ninebow 2023-05-08

HuggingFace Chatですぐに使えるようにも公開されていますね。 :)
https://huggingface.co/chat/?model=bigcode/starcoder