DeepSpeed Chat - RLHFを利用したChatGPTライクなモデル訓練用フレームワーク

 (github.com/microsoft)
12 ポイント 投稿者 xguru 2023-04-17 | 1件のコメント | WhatsAppで共有
  • 高速・低コスト・スケーラブルなオープンシステムフレームワーク
  • End-to-End RLHF(Reinforcement Learning Human Feedback)を通じて、あらゆる規模の高品質なChatGPTスタイルモデルを生成可能
  • 1クリックで、48GBメモリを搭載したNVIDIA A6000 GPU 1台で、1.3BパラメータのChatGPTモデルを1.36時間以内に訓練・生成・サービング可能
  • Databricks Dolly、CarperAI-TRLX、Huggingface-PEFT などが利用中

関連記事