- Code Llamaは、コーディング向けに設計された最先端の大規模言語モデル（LLM）であり、コードと自然言語プロンプトの両方から、コードおよびコードに関する自然言語を生成できます。
- これはLlama 2をベースに構築されており、3つのモデルで提供されます: Code Llama（基本コードモデル）、Code Llama - Python（Python特化）、Code Llama - Instruct（自然言語の指示理解向けに調整）。
- Code Llamaは研究利用および商用利用が無料で、Llama 2と同じコミュニティライセンスのもとで公開されました。
- このモデルはコード補完とデバッグに利用でき、Python、C++、Java、PHP、Typescript（Javascript）、C#、Bashなど、多くの人気言語をサポートします。
- Code Llamaは、それぞれ7B、13B、34Bパラメータの3つのサイズで提供され、各モデルはコードおよびコード関連データの500Bトークンで学習されています。
- これらのモデルは、さまざまなサービスやレイテンシ要件に対応できるよう提供されており、34Bモデルが最良の結果を示す一方で、より小さい7Bおよび13Bモデルは高速かつ低レイテンシが求められる作業により適しています。
- Code Llamaモデルは最大100,000トークンのコンテキストを処理できるため、より長いプログラムの生成や、より大規模なコードベースのデバッグに役立ちます。
- Code Llama - Python（Pythonコード100Bトークンに特化）とCode Llama - Instruct（自然言語で有用かつ安全な回答を生成するよう調整）の2つの追加バリアントも用意されています。
- Code Llamaは、ベンチマークテストにおいてコード関連タスクで他の公開利用可能なLLMを上回り、HumanEvalで53.7%、Mostly Basic Python Programming（MBPP）で56.2%を記録しました。
- Code Llamaに関連するリスクを軽減するための安全対策も講じられており、悪意あるコードを生成するリスクに関する定量的評価も含まれています。
- Code Llamaの学習レシピとモデル重みは、**Code Llama GitHub リポジトリ**で確認できます。
- **Code Llama研究論文**では、モデルの開発、限界、そして今後の課題について詳しく説明されています。
- 開発者は、下位モデルを責任を持って開発する方法に関する指針を含めるため、Responsible Use Guideも更新しました。
- Code Llamaは、あらゆる分野のソフトウェアエンジニアを支援し、さらに他の人々がLlama 2を活用して研究および商用製品向けの新しい革新的なツールを作る着想を得られるよう設計されています。
1件のコメント
Hacker Newsの意見