Uzu - Apple Silicon向け高性能AI推論エンジン
(github.com/trymirai)- Apple Silicon環境でAIモデルを高速に実行するためのRustベースの推論エンジン
- GPUカーネル、またはCoreML下層のMPSGraphを選択的に活用するハイブリッド構造
- 独自フォーマットのモデルを使用し、lalamoツールを通じてLlama3など多様なモデルを変換して利用可能
- llama.cppと比べて速度面で概ね優位で、特にQwen3-0.6Bでは13倍高速な処理速度を記録
- Swiftバインディング、CLIインターフェース、Rust APIなどにより、柔軟な開発と統合が可能
- モジュール化された構成とAppleデバイスのユニファイドメモリ活用による性能最大化、性能を検証可能な推論経路の提供などにより、信頼性と拡張性を確保
まだコメントはありません。