vLLM PagedAttention: LLM推論スループットの革新

詳細は url リンク を参照してください。以下は要約です。

LLM（大規模言語モデル）サービングの中核的な課題は、KVキャッシュ（Key-Value Cache） メモリを効率的に管理することです。既存システムは、メモリ断片化（fragmentation）の問題によりGPU利用率が低下し、スループットが制限されるという限界を抱えていました。

vLLM は、オペレーティングシステムの 仮想メモリ と ページング（Paging） 技法に着想を得た PagedAttention アルゴリズムによってこの問題を解決します。PagedAttention は、KVキャッシュを物理的に連続していない「ブロック」単位に分割して管理することで、メモリの無駄を大幅に減らし、柔軟なメモリ割り当てを可能にします。

このような PagedAttention を基盤として、vLLM は次のような中核技術を実装し、推論性能を最大化します。

• 継続的バッチ処理（Continuous Batching）: リクエストが到着し次第ただちにバッチへ追加し、完了したシーケンスはバッチから削除する動的な方式で動作します。これによりGPUのアイドル時間を最小化し、従来の静的バッチ方式と比べてスループットを最大24倍まで向上させます。

• 高度な推論機能のサポート: vLLM は PagedAttention の柔軟性を活用し、次のような多様な高度機能を効率的にサポートします。

  • チャンク単位プリフィル（Chunked Prefill）: 長いプロンプトのプリフィル段階を複数のチャンクに分割し、単一のリクエストがシステムを占有することを防ぎ、他のリクエストのレイテンシを改善します。
  • プレフィックスキャッシング（Prefix Caching）: 複数のリクエストにまたがって共有されるプロンプトの接頭辞（prefix）に対するKVキャッシュを再計算なしで共有し、重複計算を排除します。
  • ガイデッドおよびスペキュラティブデコーディング（Guided and Speculative Decoding）: 特定の形式（例: JSON）に従うよう出力を制御したり、より小さなドラフトモデルを使って生成を高速化したりする技術をサポートします。
  • プリフィル/デコーディング分離（Disaggregated Prefill/Decoding）: 計算集約的なプリフィル段階とメモリ帯域幅集約的なデコーディング段階を別々のインスタンスで処理し、リソース活用を最適化します。

結論として、vLLM は PagedAttention によって KVキャッシュ管理の根本的な非効率を解消し、それを基盤に継続的バッチ処理のような最適化技法を適用することで、LLM推論システムのスループットと性能を引き上げました.