10 ポイント 投稿者 xguru 2022-09-29 | 4件のコメント | WhatsAppで共有
  • GitHubのCopilotで使われているOpenAIのCodexのような機能を提供する、ソースコード向けLLM(Large Language Model)を作るオープンプロジェクト
  • Hugging FaceとServiceNow R&Dが協力して開発予定
  • コード生成システムを訓練するための大規模データセットを提供することが目標
  • Codexよりも大きい150億パラメータ規模

4件のコメント

 
xguru 2022-09-29

やはり費用がかかる CoPilot にはあれこれ制約があるので、
Stable Diffusion のように大きな変化を起こしてくれるといいですね。

 
ffdd270 2022-09-29

Stable Diffusionのようにローカルでも動作するとよさそうです。やはりCopliotは(コードのプライバシー保護や暗号化がどれだけしっかりしていても)外部通信が必要ですし、その通信にソースコードが含まれるので気が進まないんですよね。

 
laeyoung 2022-09-29

そうですね。

現実的にはLLM(Large Language Model)なので、ローカルで直接動かすのは難しそうですし、on-premに入れられるサイズ程度でも十分使いものになりそうです。150億パラメータなら、GPT-2(15億)とGPT-3(1750億)の中間くらいの規模のパラメータを持っていますが、いけるのかな…(泣)

 
ffdd270 2022-09-29

GPT-2 はローカルで動かせる…ものだったと認識しています。Tabnine はそのモデルベースで、ローカルモデルを提供しているんですよね。