IPEX-LLM - Intel CPU/GPUでLLMを実行するためのPyTorchライブラリ
(github.com/intel-analytics)- Intel Extension for PyTorch (IPEX) ベース
- 50以上のモデルで最適化・検証済み（LLaMA2、Mistral、Gemma、LLaVa、Whisper など）
- ローカルiGPUやArc/Flex/Maxなどの分散GPU上で低レイテンシーで実行
- llama.cpp、HuggingFace、LangChain、LlamaIndex などと良好に連携
まだコメントはありません。