Basaran - OpenAI Text Completion APIのオープンソース代替
(github.com/hyperonym)- Hugging Face Transformerベースのテキスト生成モデルに対して、OpenAI互換のストリーミングAPIを提供
- 他のLLMを使って、OpenAIサービスのように利用可能
- さまざまなデコーディング戦略を使ったストリーミング生成が可能
- デコーダ専用モデルとエンコーダ-デコーダモデルの両方をサポート
- surrogatesおよびwhitespaceをサポートするDetokenizer
- Quantizationオプションに対応。マルチGPUをサポート
- SSE(Server-Sent Events)を使ったリアルタイム進捗表示
まだコメントはありません。