Intel、NPUアクセラレーションライブラリを公開

インテル® NPUアクセラレーションライブラリ: インテルのニューラル・プロセッシング・ユニットでAI性能を向上

• インテル NPUアクセラレーションライブラリは、AIアプリケーションの効率を高めるために、インテルのニューラル・プロセッシング・ユニット（NPU）の電力を活用するPythonライブラリである。最適な性能と電力効率のために、計算とデータフローを効率的に制御し、計算資源の活用を最大化し、データ転送を最小化することで、AIワークロードを最適化する。

• このライブラリは、NPUと計算アクセラレーションおよびデータ転送機能を統合するIntel Core Ultraプロセッサ向けに設計されている。AI処理向けのニューラル・コンピューティング・エンジン、一般的な計算タスク向けのストリーミング・ハイブリッド・アーキテクチャ・ベクター・エンジン、効率的なデータ転送のためのDMAエンジンを特徴とする。

• 主な機能として、8ビットおよび4ビット量子化、NPUネイティブの混合精度推論、Float16およびBFloat16対応、torch.comファイル対応、LLM MLPの水平融合実装、静的形状推論、MHAのNPU推論、NPU/GPUヘテロジニアスコンピューティングが含まれる。

• ライブラリを使用するには、システムで利用可能なNPUがあることを確認し、pip経由でパッケージをインストールする。WindowsおよびLinuxシステムと互換性があるが、macOSはまだサポートされていない。最良の性能を得るため、NPUドライバーを最新バージョンに更新する。

• ライブラリは実装例を提供しており、NPU向けにPyTorchモデルを最適化するためのtorch.comファイルをサポートする。また、PyTorch 2.0.0未満のバージョンを使用する場合や、Windows環境でモデルをコンパイルする際の明示的な機能も提供する。

[kuroneko]

外付けグラフィックカードがなくても、NPUだけでAI演算がどこまで可能なのか期待ですね。