Nebullvm - AI Inference（推論）を5〜20倍高速化するオープンソースライブラリ
(github.com/nebuly-ai)- AIモデルを入力として受け取り、高速に実行できる最適化版を生成
- 複数のディープラーニングコンパイラをテストし、特定のハードウェアに最適な方法を見つけ出す
- ディープラーニングモデル非依存: Transformer、LSTM、CNN、FCN など、どのディープラーニングモデルでも可
- ハードウェア非依存: ほとんどの CPU と GPU をサポート。近く TPU およびディープラーニング専用 ASIC にも対応予定
- フレームワーク非依存: PyTorch、TensorFlow、HuggingFace に対応し、今後さらに追加予定
- すべてローカルで実行されるため安全
- 数行のコードで利用でき、簡単
1件のコメント
（ライブラリ作者）共有していただきありがとうございます！ 楽しく作業していただけたようで何よりです。
今後も進化し、性能は向上していくでしょう……ハッピーな高速化を！