vLLM Compose - Docker Composeプロファイルで複数のvLLMモデルを簡単に切り替え・サービング
(bae-changhyun.github.io)複数のLLMをローカルでサービングする際の不便さ（モデルごとにdockerコマンドを再入力、GPU設定を覚える必要、状態監視）を解消する、vLLM専用のTUI管理ツールです。
- モデルごとの設定をYAMLプロファイルとして保存し、TUIでEnterを1回押すだけで開始・停止
- Quick Setup: モデル名を入力するだけで、プロファイルと設定を自動生成
- GPUリアルタイム監視ダッシュボード、メモリ使用量の事前推定機能を搭載（hf-mem）
- vLLM arguments自動補完: 実際のvLLMイメージで利用可能な引数リストを自動抽出し、Tabキーで自動補完
- MITライセンス、Python 3.10+ / Docker / NVIDIA GPU環境が必要
まだコメントはありません。