ChatLLaMA - LLaMAベースのChatGPTオープンソース実装

 (github.com/nebuly-ai)
15 ポイント 投稿者 xguru 2023-03-02 | 1件のコメント | WhatsAppで共有
  • Metaが最近リリースしたLLaMAは、RLHF訓練プロセス向けにはファインチューニングされていない
  • ChatLLaMAはLLaMAを用いたRLHF実装で、ChatGPTスタイルのサービスを構築できる完全なオープンソース
  • ChatGPTより約15倍高速に訓練可能
  • ファインチューニングプロセスの高速化のため、DeepSpeed ZEROサポートを内蔵
  • LLaMAの7B、13B、33B、65Bをすべてサポートしており、自分に合ったサイズを選択可能

関連記事