LocalAI - セルフホスト可能な OpenAI 互換 API
(github.com/go-skynet)- OpenAI と互換性のある REST API で、さまざまな LLM を利用可能
- GPU なしでも利用可能。llama.cpp 互換 LLM では GPU アクセラレーションをサポート
- マルチモデルに対応し、音声文字起こし、テキスト生成、画像生成（Stable Diffusion）をサポート
- 一度ロードされるとモデルをメモリに保持し、高速な推論をサポート
- ggml 互換モデルをすべてサポート: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..
まだコメントはありません。