H100 GPUバブル崩壊: GPU価格が$8から$2へ下落した理由

 (latent.space)
8 ポイント 投稿者 GN⁺ 2024-10-12 | 2件のコメント | WhatsAppで共有
  • 2023年11月のChatGPT公開後、H100 GPUの需要が急増し、時間当たりのレンタル料は$4.70から$8超まで急騰
  • データセンター事業者は、H100を時間当たり$4.50超で貸し出せれば、2年未満で投資回収できると見込んでいた
  • しかし2024年8月時点で、小規模クラスターのH100 GPUレンタル料は$1〜$2水準まで下落

データセンターにおけるH100投資の採算ライン

  • 時間当たり$2.85以上: S&P500の利回りを上回る可能性
  • 時間当たり$2.85未満: S&P500の利回りを下回る
  • 時間当たり$1.65未満: 5年間で投資損失が見込まれる

H100 GPU市場価格急落の主な要因

  • オープンウェイトモデルの台頭により、推論とファインチューニング需要が増加
  • 一方で、中小規模の基盤モデル開発企業の市場は縮小
    • 多くの企業やスタートアップが、自前でモデルを訓練するより、既存のオープンウェイトモデルを微調整するほうが経済的かつ効果的だと認識
    • 70B超の大規模モデルを学習させる計画のないスタートアップや企業が投資を撤回
  • 多くのインフラ事業者は、3〜5年の長期契約で利益を確保
    • これは2023年のAIピーク時に、さまざまな基盤モデル企業によって事実上求められていた
    • 予約済みノードの未使用容量の再販が始まる
  • Facebook、Microsoftなど大規模モデル開発企業が自前のクラスターを構築し、既存クラスターへの需要が減少
  • ChatGPTは2022年11月にA100シリーズで公開され、H100は2023年3月に導入された。H100はA100より3倍高性能だったが、価格は2倍にとどまった
  • AMD MI300、Intel Gaudi3などH100代替GPUの登場
  • EthereumのPoS移行と、ASICによるBitcoin採掘の支配で、GPUマイニング需要が減少

示唆

  • H100 GPUの平均コストは$50k超で、5年寿命を前提とすると、さまざまなレンタルモデルが成り立つ
    • 時間当たり$2.85以上なら株式市場のIRRを上回れるが、それを下回ると損失が出る可能性がある
  • 新規のH100ハードウェア投資は損失につながる可能性が高い
    • 割引価格のH100、電力料金、特殊な顧客要件などの例外的な状況を除く
  • 一方で、下落するH100価格はオープンウェイトAI普及の触媒になるだろう
    • 開発者やエンジニアによるオープンモデルの実験やアプリケーション開発の活性化が期待される
  • Featherless.AIは、2,000超のオープンソースAIモデルの即時推論を月額$10の定額で提供
    • ハードウェア収益性を確保するには、全レイヤーの最適化とカスタムGPU選定が必須

GN⁺の見解

  • GPU市場の変化: H100 GPUの価格下落は、GPU市場の急速な変化を示している。これは投資家やインフラ事業者に大きな影響を与える
  • オープンソースモデルの影響力: Llama 3のようなオープンソースモデルの登場は、ファインチューニングと推論需要を増やす。一方で大規模モデル訓練への需要は減少する
  • 代替GPUの台頭: AMDやIntelのGPUがH100の代替として浮上し、市場競争は激化している。これはGPU価格下落への追加圧力となりうる
  • AIアプリケーションの機会: GPUコストの低下は、AIアプリケーション開発の参入障壁を下げ、より多くのイノベーションを促進しうる
  • 投資戦略の再考が必要: GPUインフラへの投資には慎重なアプローチが必要であり、市場動向を綿密に観察する必要がある

関連記事

2件のコメント

 
readiz 2024-10-14

llamaが引き起こしたバタフライ効果…興味深いですね。笑
 
GN⁺ 2024-10-12
Hacker Newsの意見

  • $2のGPUを提供するサービスは、信頼できないコンピューティングに依存して事業を危険にさらす可能性がある。AWSは高級エンタープライズGPUインフラの信頼性を高めてきた。

    • $2のH100を提供して利益を出すのは不可能だ。

  • すでにインフラを持つデータセンターは、H100で大きな利益を得ることができた。しかし、効率的な市場ではこうした機会は永遠には続かない。

    • $2.00でも依然として採算は取れるが、安価な電力・インフラ・労働力が必要だ。

  • 本当の利益は、個別のGPU/マシンではなくInfiniBandクラスターを貸し出すことにある。

    • Lambda One Clickクラスターは$4.49/H100/時間を明示している。

  • 世界全体で16台のH100ノードを必要とするチームは50未満しかいない。多くのチームは収益を上げられないだろう。

    • 従来のソフトウェア開発会社も成功率は低い。

  • 多くの創業者はモデルを訓練して投資家を説得しようとしているが、実際に価値のあるモデルを訓練した例はまれだ。

    • OpenAIでさえ資金流出を止めるのは難しい。
    • 技術進歩や、より安価な競合の出現可能性への懸念がある。

  • AI研究が活発だった時期に、計算資源を買えなかった大学研究室の悲しみが語られている。

    • AIの冬が来れば、計算コストは再び安くなるだろう。

  • この状況は、『The Prize: The Epic Quest for Oil, Money & Power』で説明されている石油の好況と不況のサイクルを思い起こさせる。

  • OpenAIは、オープンソースモデルの進展に対応して、継続的にモデルを改善しなければならない。

    • 時間がたてば、OpenAIの優位性は大半の人にとって重要ではなくなるかもしれない。

  • GPUレンタルファームには悪い知らせのように聞こえる。

  • NVDAへのショートポジションを少し増やしたという意見が共有されている。

    • 天井が近いと判断している。