Portkey AI Gateway - 100以上のLLMを1つのAPIで利用

 (github.com/Portkey-AI)
7 ポイント 投稿者 xguru 2024-01-11 | 2件のコメント | WhatsAppで共有
  • アプリとLLMの間のインターフェースとして、すべてのLLMを統合APIで呼び出し可能
    • OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini など
  • 非常に高速で（9.9x）、フットプリントも小さい（~45kb）
  • 複数のモデル/プロバイダー/キー間でロードバランシング可能
  • フォールバックと自動再試行により、アプリが安定して動作するよう支援

関連記事

2件のコメント

 
ragingwind 2024-01-11

うまく動けば便利そうですね。
 
vrv18 2024-01-12

私はメンテナーの一人です。コミュニティからのフィードバックを楽しみにしています！