AIインフラコストのジレンマの現在と未来

• AIモデルの計算コストが高い理由は何か？
• GPUをめぐる時間とコストの議論
• AIインフラに関する検討事項
  • 外部インフラと自社インフラ
  • クラウドとデータセンター構築
  • クラウドサービスプロバイダーの比較：価格、可用性、コンピューティングの提供モデル、ネットワーク相互接続、カスタマーサポート
  • GPUの比較：トレーニング vs. 推論、メモリ要件、ハードウェアサポート、レイテンシ要件、急激な変動（Spikiness）
  • モデル最適化とスケジューリング
• AIインフラコストはどのように進化するのか？
• a16zの「Navigating the High Cost of AI Compute」の翻訳＆要約です。