Utilyze - GPUが実際に有用な処理をどれだけ効率的に実行しているかを測定するツール

• nvidia-smi や nvtop はGPU上でカーネルが実行されているかどうかしか確認できないため、実際のハードウェア容量のごく一部しか使っていなくても 使用率100%と表示 されることがある
• Utilyzeは GPUパフォーマンスカウンタを直接読み取り、実質的なリソース使用量をライブで表示し、オーバーヘッドは無視できる水準
• ワークロード・モデル・ハードウェアの組み合わせにおいて現実的に到達可能な最大使用率である Attainable SOL上限 を計算し、現在どれだけさらに押し上げられるかを把握可能
• 実行中の推論サーバーを 自動検出 して各GPUにロードされたモデルを検知し、現在のバックエンドは vLLMのみ対応 （SGLangなどは今後追加予定）
• 対応ハードウェアは NVIDIA Ampere以降 （A100, H100, H200, B200, RTX 3000+）で、現在はH100-80GおよびA100-80Gでノード内最大8GPU構成の一部モデルをサポート
• Linuxでプロファイリングサーバーを実行し、macOS/Windowsからは WebSocketベースのリモートクライアント として接続する構成
• 単一のデバイスIDでは1つのインスタンスしか監視できない — NVIDIA Perf SDK API のデバイスアクセス方式による制約
• sudoなしで実行するには NVreg_RestrictProfilingToAdminUsers=0 を設定して再起動が必要
• Apache-2.0ライセンス