Meta AI、Code Llama 70Bモデルを公開

 (twitter.com/AIatMeta)
11 ポイント 投稿者 GN⁺ 2024-01-30 | 4件のコメント | WhatsAppで共有
  • Llama 2をコードに特化したデータセットでさらに多くサンプリングし、より長く訓練した、コード生成向けの高性能LLM
  • HumanEvalで67.8を記録し、オープンモデルの中で最高クラスの性能を示す
  • 以前のライセンスと同様に、研究・商用目的のいずれでも利用可能
  • 3種類のモデル
    • CodeLlama-70B
    • CodeLlama-70B-Python
    • CodeLlama-70B-Instruct
  • 現在は4つのサイズで提供: 7B/13B/34B/70B

関連記事

4件のコメント

 
ragingwind 2024-01-30

M2 Max以上でローカル実行が可能なら、最高のおもちゃになりそうです
 
xguru 2024-01-30

量子化されれば、おそらくうまく動きそうですね。もう少し待てば出てくるのではないでしょうか
 
xguru 2024-01-30

上のリンクはMetaへのアクセス申請用のリンクですが、Hugging Faceではすでにすべて公開されています
https://huggingface.co/codellama
 
GN⁺ 2024-01-30
Hacker Newsの意見
  • JetbrainsプラグインのCodeGPTを開発してローカルで実行できる。このプラグインはこちらで確認できる。
  • Hugging Faceでモデルを確認できる: CodeLlama-70b-hf。
  • ChatGPTとGitHub Copilotを使っているあるユーザーは、VS Codeでこのようなモデルをどう活用できるのか気になっている。VS Code向けのGPT拡張機能は多いが、ほとんどは更新が止まっているか有料プランに誘導されるため、GitHub Copilotを使い続けるほうがよいと考えている。
  • Metaがオープンソースの機械学習に対して素晴らしいコミットメントを示してきたことは評価すべきだ。
  • 小さなコードモデルがどれほど優秀かを見ると、この70Bモデルがどんな能力を見せるのか気になる。
  • 多くの人が4090と小型モデルの利用に言及しているが、エネルギー消費の分析はめったに見かけない。MicrosoftがCopilotを大きく補助していると思うが、1日のうち30%の時間Copilotを使うとしたら、4090で7Bまたは13Bモデルが1か月に消費するkWhがどれくらいで、電気代がどの程度か気になる。
  • 現在最高のローカルCopilotモデルが何なのか、またvscodeで似た体験を提供する拡張機能があるのか気になっている。4090を持っているので、かなりの数のモデルを実行できるはずだと期待している。
  • Baptiste Roziereが最近Code Llamaについて素晴らしい講演を行っており、講演はこちらで視聴できる。
  • M2 Maxのようなデバイスでローカル実行でき、IDEプラグインを通じてCopilotのような機能を果たせるなら興味深い。プロジェクトで退屈な問題を片付けたり、「ボイラープレート」コードを書いたりする時間を節約でき、より難しいソフトウェアエンジニアリング作業に集中できる。
  • 平均的なプログラマーは、必要な速度でこれを動かせる機材を持っていない可能性があるので、このプラグインが誰を対象にしているのかははっきりしない。それでもすばらしい機能だ。