Cog : 機械学習のためのコンテナツール
(github.com/replicate)- 機械学習モデルを本番運用可能なレベルでパッケージ化できるオープンソースツール
- NVidiaベースイメージ + キャッシュ + Python + 環境変数のデフォルト値など、Best Practiceをすべて含んだDockerイメージを簡単に生成
→ CUDA/cuDNN/PyTorch/TensorFlow/Python などのバージョン互換性を保てるようにする - Pydantic を通じて OpenAPI スキーマを生成
- モデル型を通じて FastAPI で RESTful HTTP API を動的に生成
- 長時間実行されるディープラーニングモデルやバッチ処理のために、Redis ベースのキューワーカーを提供（今後ほかのものも追加予定）
- ML SaaS の Replicate 向けに作られたが、自前のインフラでも利用可能
まだコメントはありません。