コンシューマー向けGPUを搭載したPCでの高速大規模言語モデルサービング

(github.com/SJTU-IPADS)

1 ポイント投稿者 GN⁺ 2023-12-21 | まだコメントはありません。 | WhatsAppで共有

PowerInfer: コンシューマー向けGPUを使った高速大規模言語モデルサービング

PowerInfer は、個人向けコンピュータ（PC）に搭載された単一のコンシューマー向け GPU で大規模言語モデル（LLM）推論を高速に実行するエンジン。
PowerInfer の設計基盤は、LLM 推論で現れる高い局所性を活用することにあり、ニューロン活性化におけるべき乗則分布を特徴とする。
この分布は、少数の「ホット」ニューロンが一貫して活性化され、大多数の「コールド」ニューロンは入力に応じて変化することを示す。
PowerInfer はこの洞察を活用して GPU-CPU ハイブリッド推論エンジンを設計しており、「ホット」ニューロンは GPU に事前ロードされ、「コールド」ニューロンは CPU で計算されるため、GPU メモリ要件と CPU-GPU データ転送を大幅に削減する。
PowerInfer は適応型予測器とニューロン認識スパース演算子を統合し、ニューロン活性化と計算スパース性の効率を最適化する。
評価の結果、PowerInfer は単一の NVIDIA RTX 4090 GPU でさまざまな LLM（例: OPT-175B）に対して平均 13.20 トークン/秒、最大 29.08 トークン/秒のトークン生成率を達成し、サーバー級の A100 GPU と比べて 18% 低い性能を示した。
モデル精度を維持しながら、llama.cpp より最大 11.69 倍高速な性能を示す。

局所性中心の設計: 効率的な LLM 推論のためにスパース活性化と「ホット」/「コールド」ニューロンの概念を活用し、低いリソース要求で高速性を確保。
ハイブリッド CPU/GPU 活用: CPU と GPU のメモリ/計算能力をシームレスに統合し、バランスの取れたワークロードと高速処理を実現。
容易な統合: 人気の ReLU スパースモデルと互換。
ローカル配備の容易さ: コンシューマー向けハードウェアでのローカル配備に深く最適化されており、単一 GPU で低レイテンシの LLM 推論およびサービングが可能。
後方互換性: llama.cpp とは異なるが、サーバーやバッチ生成など、ほとんどの examples/ は llama.cpp のように利用できる。

PowerInfer の中核コード、Mistral-7B モデル、Windows 対応、text-generation-webui、perplexity 評価コード、Mac 向け Metal 対応、OPT モデルコード、予測器学習コード、FFN ネットワークのオンライン分割、Multi-GPU 対応などの公開計画を案内。

GN⁺の意見