AMDのMI300X、LLM推論でNvidiaのH100を上回る

AMDのMI300X、NVIDIAのH100を上回る性能

主な内容

• AMDのMI300Xアクセラレータ: AMDの最新MI300Xアクセラレータが、NVIDIAのH100を上回る性能を示した。
• TensorWaveとMK1の協業: この1か月間、TensorWaveとMK1はAMDハードウェアのAI推論性能を最適化するために協業した。
• MoEアーキテクチャ: Mixture of Expert (MoE) アーキテクチャを用いて性能をテストした。MoEは、Mistral、Meta、Databricks、X.aiなどで使われている強力なオープンソースLLMに適用されている。
• 初期結果: MK1の推論ソフトウェアを使用したところ、MI300XはMixtral 8x7BでvLLMを実行する際、H100 SXMより33%高いスループットを達成した。
• 競争力: NVIDIAのソフトウェアエコシステムがより成熟しているにもかかわらず、AMDはAI市場で有力な競争相手として浮上している。ハードウェアの可用性とコストを考慮すると、MI300Xはクラウドで大規模推論を実行する企業にとって魅力的な選択肢だ。
• 今後の見通し: さらなる最適化により、AMDの性能優位は一層高まると予想される。

GN⁺の見解

• 性能向上の可能性: 初期結果だけでもAMDのMI300Xは高い性能を示した。追加の最適化により、さらに優れた性能が期待できる。
• 市場競争力: NVIDIAのソフトウェアエコシステムの方が成熟しているが、AMDのハードウェアが競争力のある性能を示すことで、市場での存在感を強められる可能性がある。
• コスト効率: ハードウェアの可用性とコストの面で、MI300Xがより良い選択となる可能性がある。これは特に大規模な推論処理を行う企業にとって重要な要素だ。
• 技術導入時の考慮点: 新しいハードウェアを導入する際には、ソフトウェア互換性と最適化が重要な要素となる。AMDのMI300Xを導入する場合、初期設定や最適化のために追加の努力が必要になるかもしれない。
• 競合製品: NVIDIAのH100以外にも、他のAIアクセラレータ製品が存在する。たとえば、GoogleのTPUやIntelのHabana Labsアクセラレータなどがある。各製品の特性と性能を比較し、最適な選択を行うことが重要だ。

[GN⁺]

Hacker Newsの意見

• TensorWaveはAIワークロードに特化したクラウドプロバイダーであり、AMDのInstinct™ MI300Xアクセラレーターを活用して高い性能を提供している。
• 2024年に128入力トークンのベンチマークを使うのは大半のワークロードを代表しておらず、プレフィル性能が非常に重要である。
• 競争は必要であり、現在Nvidiaの時価総額は約0.6兆ドルで、フランクフルト証券取引所全体よりも高い。
• 市場と販売価格は、ツール、ソフトウェア、総保有コスト（TCO）、管理のしやすさを含め、NvidiaソリューションとAMDソリューションの価値を反映している。
• 多くの企業が8x 7Bパラメータモデルを並列実行するために大金を使っているのか疑問であり、単一アクセラレーターで14Bモデルを学習できるのかも気になる。
• AMDや他社はベンチマークを選択的に使ってNvidiaに勝とうとしており、中間世代の比較モデルを使っている。
• AIサイエンティストとして、AMDはNvidiaと比べて過小評価されていると思う。チップはNvidiaほど速くはないが、ほとんどの産業では費用対効果が高く、似た結果を得られる。
• テンソル並列設定が性能に影響するのか気になる。記事によれば、AMDはテンソル並列性を1に設定し、Nvidiaは2に設定している。
• 適切な統計指標や性能/ワットがなければ、比較は無意味である。
• INT8/FP8ベンチマークがあれば良かったはずで、どちらのカードも約60GBのVRAMでロードできたはずだ。
• AMDはより良いハードウェアを持っているが、まだNvidiaと競争できるだけの生産能力が不足している。実際の競争が追いつけば、利益率は圧縮されるだろう。
• Nvidiaの支配力はCUDAのためではなく、売上の約40%が独自のカスタムスタックを使う大企業から来ているためだ。競争が追いつけば、より安価なGPUを提供するだろう。
• MI300Xは理論上はより安価であるべきだが、実際にそうかどうかは見守る必要がある。