Whisperで比較したNvidia 4090とM1/M2/M3 with MLX

 (owehrens.com)
14 ポイント 投稿者 xguru 2023-12-14 | 1件のコメント | WhatsAppで共有
  • Appleが公開した機械学習フレームワーク MLX の性能ベンチマーク
  • 10分の音声を Whisper で文字起こし
    • M1 Pro（2021モデル）+ MLX + 32GB RAM : 216秒
    • i7 + 4090 + 64GB RAM : 186秒
      • 2000ユーロのGPUは M1 と比べて30秒（16%）高速
    • M2 Ultra（76 GPU）: 95秒
    • M3 Max（40 GPU）: 100秒
  • Nvidia向けに最適化された insanely-fast-whisper を使うと、4090では8秒で完了
    • このモデルを M1 で動かすと359秒とかえって時間がかかる

関連記事