OpenLLM - LLMを本番環境で運用するためのオープンプラットフォーム

 (github.com/bentoml)
10 ポイント 投稿者 xguru 2023-06-22 | まだコメントはありません。 | WhatsAppで共有
  • 多様な種類のLLMをサポートし、推論・デプロイが可能
    • StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
  • 1つのコマンドでLLMをRESTful APIまたはgRPCとしてサービング
    • WebUI、CLI、Python/Javascript Client、またはあらゆるHTTP Clientから呼び出し可能
  • LangChain、BentoML、HuggingFaceのサポートを内蔵
  • LLMのファインチューニングを今後サポート予定

関連記事

まだコメントはありません。

まだコメントはありません。