liteLLM - 50種類以上のLLMをサポートするプロキシサーバー

 (github.com/BerriAI)
15 ポイント 投稿者 xguru 2023-08-14 | まだコメントはありません。 | WhatsAppで共有
  • /chat/completion APIを、Azure、OpenAI、Replicate、Anthropic、Hugging Face などさまざまなLLMに対して呼び出し可能
  • Input/OutputフォーマットをOpenAIフォーマットに統一
  • モデルのフォールバックをサポート（例: GPT-4が失敗した場合に llama2 を呼び出し）
  • ロギングをサポート: Supabase、Posthog、Mixpanel、Sentry、Helicone
  • トークン使用量の追跡
  • Semantic Caching を実装
  • ストリーミングおよび非同期をサポート

関連記事

まだコメントはありません。

まだコメントはありません。