AMD Ryzen AI Halo、4,000ドル（約60万円）のAI開発キット
(lttlabs.com)- ローカルAI開発環境を自力で整える負担を減らすため、Ryzen AI Haloは Ryzen AI Max+ 395 ミニPCにROCm・ドライバー・モデル・開発ツールをまとめて提供する
- 単一構成は16コア/32スレッドのZen 5 CPU、Radeon 8060S内蔵GPU、XDNA 2 NPU、128GB LPDDR5x-8000統合メモリ、2TB SSDで構成され、価格は $3,999.99 USD
- llama-benchではApple Silicon Mac StudioがRyzen AI Max+ 395搭載機を上回り、とくにトークン生成では メモリ帯域幅 の差によりGemma 4で2〜3倍高い性能を示した
- Haloの差別化要因は新しいプロセッサではなく、AMD Ryzen AI Developer Center、Best Known Configurations、AMD AI Playbooksのような互換性を整えた出発点を提供することにある
- AMD LemonadeとFastFlowLMにより XDNA 2 NPU 上でgpt-oss-20b-FLMを実行し、CPU/GPU使用率がほぼない状態で最大35W、20 tokens/sの生成を確認した
Ryzen AI Max+ 395ベースのミニAI開発キット
- AMD Ryzen AI Haloは、Zen 5ベースの AMD Ryzen AI Max+ 395 プロセッサを中心にした小型PCで、ROCmまたはAMDハードウェアベースのAI開発学習を容易に始められるよう設計されている
- プロセッサは16コア/32スレッド構成で、ほとんどのAI処理は Radeon 8060S 統合グラフィックスが担う
- これまで活用事例が多くなかったNPUも、この機器では実際に利用できた
- 単一ハードウェア構成で販売され、主な仕様は次のとおり
- 取り外し可能な 2TB M.2 SSD
- 128GB LPDDR5x-8000 統合メモリ
- メモリ帯域幅 256GB/s
- 2TBのストレージはローカルモデルを蓄積するのに十分で、128GBメモリは適度なサイズのモデルをいくつか載せた後でもシステム運用用の余裕を残せる水準だ
- 販売価格は $3,999.99 USD で、Windows 11 ProまたはLinuxがプリインストールされた単一構成を購入できる
- ユーザーは受け取り後に望むOSをインストールできるが、AMDが工場出荷用Linux/Windowsイメージやパッケージ化されたドライバー・プログラム・モデルを別途提供することはないとみられる
- テスト製品はDebian 13.4ベースのカスタムAMD Linuxディストリビューションを実行する Linux版 だった
小さなシャーシと拡張性
- Haloはマーケティング画像と異なり非常に小さな箱型デバイスで、設置面積は約 15cm四方、高さは5cm未満だ
- 重さは 1.2kg だが、持ち運ぶなら必須構成である 240W電源アダプター もあわせて考慮する必要がある
- 電源ボタンとポートはすべて背面に配置されている
- USB 3.2 Type-Cポート 4基
- HDMI 2.1ポート 1基
- 10GbEイーサネットポート 1基
- Wi‑Fi 7およびBluetooth 5.4
- 電源ボタンに最も近いUSB-Cポートは USB-C Power Delivery入力専用
- 明確な積層構造はないものの、コーナーの脚部と全側面の吸気口のおかげで、Windows機とLinux機を分けて使ったりクラスターを組んだりする形で積み重ねる余地がある
- 冷却はブロワーファン2基が上面と側面から空気を吸い込み、ヒートシンクを通した後に背面へ排気する構造だ
- 普段は静かだが、内部プロセッサの 120W TDP を処理する際にはファン速度が上がることがある
- ケース下部の白いライトリングはスリープ状態で青く点滅し、照明はオフにできる
分解と内部構成
- 高密度なミニPC構造のため内部で直接確認できる部分は多くないが、マグネット式の着脱スタンドの下にあるボルト4本を外せば底面カバーを開けられる
- M.2 2280 SSD には追加分解なしで簡単にアクセスできる
- 上部シェルを外してコンピュートコアを露出させるには、いくつかの接続部をさらに外す必要がある
- コア自体は取り出せるが、ユーザーがさらに手を加えられる部分は多くない
- 底面ケースを最初に開けたときに見える金属板はボルト4本で外せるが、熱伝導材に触れないよう取り外しは行わなかった
llama-benchで見たLLM性能
- Ryzen AI Max+ 395、コードネームStrix Haloは 2025年春 からすでに提供されているプロセッサであり、Haloがこの点で新たな性能を打ち出しているわけではない
- 同じプロセッサを使う他のハードウェアには、Framework Desktop、Beelink GTR9 Pro、X+ Rival、ACEMAGIC M1A PROがある
- 性能テストは、この製品の中核であるソフトウェア構成を見る前に、期待水準の性能が出るかを確認するために行われた
- テストはllama.cppに含まれる llama-bench を中心に実施された
- llama.cppはGGUF形式の大規模言語モデルをロードして実行するオープンソース推論エンジンだ
- llama-benchはプロンプト処理（prompt processing, pre-fill）とトークン生成（token generation, decoding）を測定する
- LLMのtokens/s性能は互換性の違いや変動性に敏感なため、結果は複数の情報源とあわせて見る必要がある
基本的なllama-benchテスト結果
- 基本テストは pp512/tg128 構成で、ユーザーが512トークンを入力し、モデルが128トークンを生成する状況をシミュレートする
- 使用モデルは最近注目を集めた17〜32GB級モデル3種
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- 比較対象は次のデバイスだった
- AMD Ryzen AI Halo: AI Max+ 395, 128GB
- Framework Desktop: AI Max+ 395, 128GB
- M2 Ultra Mac Studio: 76コアGPU, 128GB統合メモリ
- M3 Ultra Mac Studio: 80コアGPU, 512GB統合メモリ
- HaloとFramework Desktopでは ROCm/HIP と Vulkan ランタイムの両方を使用した
- Apple Silicon Mac StudioはAMD Ryzen AI Max+ 395搭載機より高い性能を示し、主な差はMacの約 800GB/sのメモリ帯域幅 とMax+ 395の256GB/s帯域幅にある
- プロンプト処理区間は一般に演算制約が大きく、denseモデルであるGemma 4ではApple SiliconとMax+ 395の差はメモリ帯域幅だけを比較した場合より小さく表れた
- Qwen 3.6 35B A3BやGLM 4.7 Flashのようなsparse Mixture of Expertsモデルのプロンプト処理は演算依存度が低く、Macのメモリ帯域幅の優位性がより大きく表れた
- トークン生成は一般にメモリ帯域幅制約がはるかに大きく、Gemma 4ではApple Siliconデバイスが 2〜3倍 高いtokens/s性能を示した
- Ryzen AI Max+ 395ではVulkanとROCm/HIPの間に明確な勝者はなかった
- より高速なバックエンドは互換性、モデル構造、コンテキストサイズ、ハードウェア、ソフトウェア最適化によって変わる
- 両バックエンドとも継続的に更新されている
- テストはFlash Attention有効で行われたが、この設定が常に最高性能を保証するわけではないため、各システムで直接試すのが望ましい
コンテキスト拡大とエージェント型利用のシミュレーション
- エージェント型LLMの利用が増える中、コンテキストサイズが大きくなると性能がどのように低下するかを見るためのllama-benchテストが追加された
- テストは、指示を受けたエージェントがツール呼び出しを行ったり回答を返したりする状況を単純化してシミュレートする
- 主なパラメータは次のとおり
-p,-n: プロンプト処理とトークン生成に使用するトークン数を指定-b,-ub: バッチサイズとマイクロバッチサイズを指定-fa: Flash Attentionの有効化/無効化-ngl: GPUにオフロードするモデルレイヤー数を指定-r: 反復回数を指定-d: すでにコンテキストに入っているトークン数を指定
- テストを連続実行した際に起こりうる熱の蓄積を減らすため、独自スクリプトでループと待機時間を入れて実行した
- 3モデルすべてでコンテキストサイズの増加に伴う 性能低下 が大きく現れた
- Gemma 4はVulkanバックエンドと65,536トークンコンテキストの組み合わせで30分以内に完了しなかった
電力と温度
- Haloは非常に小さなシャーシを採用しているため、Ryzen AI Max+ 395パッケージの最大TDP 120W、最大ブースト 140W を持続できるか確認した
- 比較対象として同じRyzen AI Max+ 395を使うFramework Desktopもあわせてテストした
- テストはQuarch QTL2843で壁面電力消費を測定しながら、llama-benchのprefillテストを20回実行する形で行われた
- 両機とも「Performance」モードで、Haloは電力や冷却のユーザー設定を許可していない
- Framework DesktopのAI Max+ 395はテスト全体を通じて120W基準線を維持し、130Wまでの電力スパイクも比較的頻繁に発生した
- Haloはテスト開始後約 5分間140W を維持した後、その後の残りテストでは 120W TDP に下がった
- Haloのブロワー構造と全側面の吸気口は、熱平衡状態でも外装を比較的低温に保ったが、底面は約 50°C まで温かくなった
- ファンは排熱中に大きく回るが、音は鋭いというより「woosh」に近い性質だった
ソフトウェアが生む製品価値
- Ryzen AI Max+ 395ベースのミニPCは複数製品として購入できるため、Halo固有の価値は新しいハードウェアよりも AMD Ryzen AI Developer Center、選別された構成、1st-partyサポートの約束にある
- HaloはNVIDIA DGX Sparkのように、特定のAMDまたはNVIDIAハードウェア上でテストする必要がある開発者が環境設定に費やす時間を減らすよう設計されている
- DGX Sparkと異なり、Haloには Linux版とWindows版 の両方がある
- Linux版は起動するとAMD Ryzen AI Developer Centerに入り、ここでソフトウェアのインストール・更新、ドキュメント参照、システム制御を行う
- AMDによればHaloはロックされておらず、ユーザーは望むOSをインストールできる
- ただしAMDの工場出荷Windows/Linux構成の間を切り替えられるイメージは提供されない見込みだ
Best Known ConfigurationsとPlaybooks
- AI HaloとDeveloper CenterはAMDの Best Known Configurations(BKC) へアクセスできるようにする
- BKCは、含まれるソフトウェア、パッケージ、ドライバーが相互に互換性を持つことをAMDが検証したシステム構成だ
- この構成は、playbookを実行したり学習を始めたりする前に依存関係の問題を先に解決しなければならない負担を減らしてくれる
- 一般的なAI Max+システム向けAMD AI Playbookでは、メモリ割り当てのためにコマンドライン指示が提供されるが、AI HaloではLinuxまたはWindowsに応じてスライダーやドロップダウンで簡略化されている
- Haloは手動設定や複雑な構成を妨げるものではなく、実装やハードウェア詳細を抽象化するリスクはあるものの、深く踏み込む前の出発点を提供する
- AMD AI Playbooks は、AMDハードウェア上でAIワークロードを探索できる簡単なチュートリアル集だ
- PlaybooksはAI Haloに焦点を当てつつ、Radeon GPU向けバージョンも提供される
- Playbooksは GitHub にも公開されており、AMDはBKCと同様にこれを最新状態に保ち、毎月新しいplaybookを追加するとしている
試したPlaybooks
- AMD Sync は、ネットワーク経由でHaloへリモート接続するための簡単な方法を提供する
- ライブメトリクスの確認
- VSCodeプロジェクトを開く
- Jupyter Labsプロジェクトを起動する
- ターミナルにアクセスする
- AMD Syncは、リモートデバイスにAMD Syncをインストールし、SSH情報をコピーするだけでよく、テストでは問題なく進行した
- LM StudioおよびLemonade関連のplaybookは、ローカルLLMのダウンロード、管理、サービング、対話の流れを扱う
- LM StudioとLemonadeのplaybookは、ソフトウェアのインストール、ランタイム更新、最初のモデルのダウンロードまで、短く追いやすい流れで構成されている
- 2つのplaybookは、ローカルLLMをコーディング支援として使ったり、OpenAI APIとプログラム的にやり取りしたりする段階まで続く
- VSCode playbookは、前のplaybookでホストしたローカルLLMをIDE内の Cline agent と接続する
- PyTorchベースのLLM実行とファインチューニングのplaybookは、プリインストールされたソフトウェア、ドライバー、モデルによって4〜5ステップでLLMを動かせることを示している
- PyTorch playbookはスクリプト内部の動作まで扱う完全なチュートリアルではないが、依存関係をつなぎ動作確認をする スモークテスト としては有効だった
- 初心者向けに「Next Steps」として次に試すべきアイデアも提供する
ソフトウェア構成の長所と弱点
- BKCとplaybooksは、複数のチュートリアルを試しても何も動かない状況を減らすため、いつでも戻れる基準状態を提供する
- Developer Centerの System Reset ボタンでその状態へ戻れる
- Haloは一般的なコンピュータのように必要に応じてインストールと構成ができるため、BKCとplaybooksがユーザーの自由を妨げることはない
- BKCとplaybooksは、3rd-partyチュートリアルでも既知の出発点と互換性を前提にできるようにし、ユーザーがさらに先へ進みやすくする可能性がある
- AI Playbook GitHub issues にあるように、現時点で一部のplaybookには失敗する箇所があり、実際のテスト中にも問題が発生した
- AMDがこうした問題を迅速に解決できなければ、ソフトウェア全体の価値が揺らぐ可能性があり、将来価値への期待で購入する際のリスクとして残る
実際に使われたNPU
- HaloではAMD Lemonadeと FastFlowLM を通じて XDNA 2 NPU 上でLLMを実行できた
- 実行モデルはgpt-oss-20b-FLMで、NPU使用率のテレメトリは提供されていなかった
- CPU/GPU使用率がほぼ0の状態でAI Max+ 395パッケージは最大 35W を消費し、生成性能は 20 tokens/s だった
- NPUはGPUより演算性能が低いことが多いが、その代わりはるかに高い電力効率を持つのが利点だ
- カメラのようなセンサーを高速処理し、CPUとGPUを主要タスクのために空けておくような用途に適している
- Ryzen AI Max+ 395とNPUを含むこの開発キットは、巨大なGPUの代わりにより電力効率の高いローカルLLM開発を前進させる助けになるかもしれない
USB-C Power Deliveryの動作
- Haloは完全に USB-C PD で給電される
- USB-Cは現在最大 240W を供給でき、HaloにはUSB-C PD Extended Power Range(EPR)をサポートするDelta ADP-240KB BA AC/DC電源アダプターが付属する
- このアダプターは最大 48V, 5A を供給できる
- テストではHaloが電源から200W超を引き出すことはなかった
- Infineon CY4500-EPRで電源アダプターとHaloの間のPDパケットを測定した
- 電源アダプターは最初に接続されたとき、SOURCE_CAPABILITIESメッセージで供給可能な電圧と電流を通知する
- 当初は20V, 5A、すなわち 100W に制限されるStandard Power Range(SPR)出力モードだけが表示された
- HaloはEPR_MODEメッセージを送って電源アダプターのEPRモードを要求し、その後フルEPR機能を確認した
- Haloは最大5Aを使える固定 48V出力モード を要求し、最大240W構成を利用した
- Haloは電源アダプターへEXTENDED_CONTROL_MESSAGEを継続的に送っており、固定電圧出力でこのような継続メッセージが見られた点は興味深い
1件のコメント
Hacker Newsの意見
新たに注目すべきなのは AMD playbooks（https://developer.amd.com/playbooks/、https://github.com/amd/playbooks）だと思う
Nvidiaのplaybooks（https://build.nvidia.com/spark、https://github.com/NVIDIA/dgx-spark-playbooks）に対するAMDの回答であり、AMDがこの領域をより真剣に扱い始めたのは好意的に見ている
ハードウェアは昨年2,000ドルで売られていたものと完全に同じで、中国のOEMからは今でも1,000ドル安く買える
LTT LabのLLMテストがより洗練されていくのは良いが、ROCm/Vulkanのバージョンとllama.cppのビルドバージョンによって数値はかなり大きく変わり得る
Strix Haloの性能を最大限引き出すにはカーネル調整やryzenadjのようなユーティリティが役立ち、http://strixhalo.wiki/に大半がまとまっている
コーディングやエージェント作業に使うなら、モデルがMTPをサポートしている場合はすでにかなり成熟しており、デコードがおよそ30%ほど速くなる可能性がある
時間を節約するなら、記事にもある通り AMD Ryzen AI Max+ 395（Strix Halo） プロセッサは2025年春からすでに存在しており、その点でHaloが新しく提供するものはない
以前のボードと同じ 256 GB/sのメモリ帯域幅という制限があるのに、なぜ今になって新製品のように発売されるのか分からない
同じような価格ならFramework Desktopを買えるし、GMKtec EVO-X2ならもう少し安く買える
AMDの立場では、PCメーカーに安く卸すより直接利益を取ろうとするのは当然だ
普通のタワー型かサーバーラック型のコンピューターを買えばいい
128GB以上のメモリを積んだマシンは本当に欲しいが、4,000ドルで 256 GB/s しかないのは厳しい
ARMとAMDの両方の欠点まで受け入れなければならない
RTX Sparkが出る頃には6,000ドルになっていそうだし、128GB以上で700+ GB/sのマシンが出たら1万ドルになって、ほとんどの消費者の手が届かない価格になるのではと心配している
正直、今は良い選択肢があまりなく、市場がもう少し落ち着くまで待つ方がいいかもしれない
誰かがその両方を備えたマシンを作れば、簡単に 1万ドル で売れるだろうし、人々は列を作って買いそうだ
例えばDS4、つまりDeepSeek V4 Flashの1ビット量子化モデルは毎秒9〜13トークン程度で、最初のトークンまでの時間が非常に長い
エージェント型の対話的コーディングモデルとしては現実的ではない
Strix Haloは気に入っていて、主にソフトウェアセキュリティ監査や学習実験のような 非対話型タスク を継続的に回す用途でよく使っている
AI実験用プラットフォームとしては良いが、4,000ドルならNvidiaベースのAsus Ascend GX10を買え、そちらの方がおそらく良い
ローカルの対話型エージェント用途ならQwen 3.6やGemma 4を動かすことになるだろうが、これらは2x64GB GPUに余裕で収まり、古いGPUでもStrix Haloより速い場合がある
32GBにもぎりぎり収まり、48GBや64GBのMacでもうまく動くだろう
今のGPU側のsweet spotは Radeon AI Pro R9700を2枚 のように見える
5090や4090のように中古車並みの値段ではなく、ローカル推論に十分なメモリと性能を提供し、eBayの古いサーバーGPUのように面倒だったり奇妙だったり、3Dプリントのファンダクトを要求したりもしない
現時点では、このような128GB推論マシンではよりよく動き、64GBマシンではうまく動かないモデルは特にない
64GBマシンの方が速い可能性もあり、32GB GPUの中にもそれほど遅いものは多くないだろうが、ベンダードライバとCUDAまたはROCmで現在積極的にサポートされていないGPUは買わない方がよい
これらのデバイスは DGX Sparkより安かった時 は素晴らしかった
だが価格が同じなら、Sparkではなくこれを買う理由はない
Sparkは文字通りより高速なバージョンで、ソフトウェアサポートもより良い
Ryzen AI Max 395搭載デバイスを持っている立場での発言だ
複数の高等教育向けサプライヤー基準での話だ
RyzenのCPUはDGX Sparkより優れており、特にAVX-512を使うよう更新された現代的なプログラムではマルチスレッド性能がずっと高い
GPUアプリケーションに限ってのみ、NVIDIAシステムの方が優れている可能性が高い
適切なLinuxカーネル、カーネルファームウェア、ROCmのインストールなどをかなり長い間いじることになった
Strix Haloデバイスを持っていて気に入ってはいるが、この価格ならAI用途ではNvidiaベースのASUS GX 10を買うほうがよい
CUDAエコシステムは依然としてより強力
AMDはCPUがより優れているのでデスクトップマシンとしてはより良いが、Nvidiaのほうが推論や学習タスクでは少し速く、サポートも少し良い
ROCmでもほぼ常に同じことはできるが、少し手間がかかる
ただし、Nvidiaが自社ハードウェアに載せて出荷しているカスタムUbuntuは扱いにくいほど良くない
Nvidiaはソフトウェアが得意ではなく、Jetsonラインを数年扱ってきたが、今でもひどい
依然として荒削りなカスタムUbuntuで、複雑なイメージベースの構造にUEFIもないため、単に別のLinuxをインストールすればよいというものではない
大きなデバイスにもUbuntuを載せて出荷するのだろうと推測しているが、自分が直接扱ったのは小型の組み込みJetsonマシンだけ
AMD側は通常のx86_64 PCなので、ほぼどんなLinuxでもインストールでき、自分のデバイスにはすぐFedoraを入れた
普通のUbuntuで、特に問題は経験していない
これまで見たARM64 Linuxデバイスの中で、まともにサポートされたLinuxを実際に出荷している唯一のベンダーでもある
ASUS GX10を日常用のメインワークステーションとして使っていて、動かないのはSpotifyくらいだが、おそらくDRMの問題だと思う
SignalのARM64クライアントもないようだ
DGX SparkがStrix Haloに対して持つ大きな利点は、プリフィル速度がはるかに速いこと
およそ5倍速い
ネットワークハードウェアもとんでもなく強力だが、自分や他のSparkユーザーの99%はその性能を使い切ることはなさそう
256GB/sのメモリ帯域幅は3090の約1/4程度
メモリを半分にして速度を4倍にしていたら、もっと良い買い物になっていたはず
高いメモリ速度は密なモデルや高い同時実行性のサービングには有利
しかしローカルの単一ユーザー環境では、こうしたプラットフォームのおかげで、より強力で大きなMoEモデルを妥当な速度と低い同時実行性で使えるほうが良い場合が多い
その時点では遅いPCIeレーンがボトルネックになる可能性が高い
ワークロードが24GBカードに収まるなら、そもそも彼らが作ろうとしているAIミニPCというニッチ市場の対象ユーザーではない
小さなモデルはずっとよく動かせる
個人的には3090は最低2枚、理想的には4枚買えるときに最も筋が通るが、その場合はまったく別の予算の話になる
新しいMTPモデルであるQwen3.6 35B MoEは、約80kコンテキストまで大きな減速なしにトークンを生成できる
多くのトークンを得られるのも良いが、コンテキストを処理し拡張できる点により、小さなグラフィックカード群と比べて今後も優れたマシンであり続けるはず
32GB DDR4 RAMモジュールは帯域幅が25GB/sで160ドル
8枚買えば1,280ドルで256GB RAMと200GB/sの帯域幅が得られる
16GBモジュール16枚を1枚60ドルで買えば、960ドルで400GB/sの帯域幅を得られる
問題はメモリコントローラーが8個または16個必要なこと
メモリコントローラーはそこまで高価ではない
Intel Core i3-14100Fには2チャネルコントローラーがあり110ドルなので、16チャネルコントローラーは880ドル以下、8チャネルコントローラーは440ドル程度と推定できる
それなら128GBしかない4,000ドルの機器ではなく、16個のDRAMコントローラーを持つ安価なCPUを作るほうがよいのではないかと思う
あるいはRAMチャネルを8個ずつ持つCPUを2個使うこともできる
DDR5は32GBが360ドルと2倍高いのに、帯域幅は2倍にもならないので買う価値がない
RAMチャネルをもっと増やしてDDR4を挿すほうが合理的
ただしマザーボードはかなり高くなる可能性がある
高価なDDR5へ移行する代わりに、最も安いCPUにも8/16個のDDR4チャネルをサポートさせるべきだった
32GB DDR5-4800モジュールは360ドルで、32GB DDR4-3200モジュール2枚は320ドルなので、容量は2倍、帯域幅はより高く、価格はより低い
DDR5はただのぼったくり
以前の形では2,000ドル「しかしなかった」が、この更新されたボックスでもメモリ帯域幅は深刻に不足している
ハイブリッド推論のために専用GPUを入れるスペースがあるモデルもいくつかあるが、個人的にはそれだけの価値はない
XeonやEPYCビルドのためにお金を取っておくほうがよい
似たような製品がなぜどれも128GB VRAMでぴったり止まるのか分からない
この価格なら少なくとも224GB VRAMは期待していた
メモリバス次第
128ビットは96GB、256ビットは192GB、512ビットは384GB、1024ビットは768GB程度と見てよい
https://community.frame.work/t/was-there-no-possible-way-to-...
マージンの低いコンシューマー/ホームラボ製品がデータセンター製品を置き換えることを望んでいないため、そうした製品のVRAMを意図的に制限して、データセンター用途として魅力を下げている
これはCUDAを搭載したNvidia DGX Sparkや、128GBで2倍のメモリ帯域幅を持つMacより少し安い程度です
Strix Haloの利点は、もともとそれらのはるかに強力なマシンの半額だった点にありました
この価格でAMDチップを買うのは、正気の沙汰とは言いがたいです
ただしハードウェア市場全体が今おかしくなっているので、残念ながらこれもよく売れそうです
M5 Proはメモリ帯域幅がやや高いものの、現時点では最大64GB DRAMまでしか選べません
この小さなメモリ構成でさえAMDやNVIDIAより高く、小容量SSDではなく、LLMを入れて自分で量子化を計算できる程度のまともな容量のSSDが欲しいならさらに高くなります
たとえば4TB SSDと64GB DRAMなら5,600ドルを超えます
LLM推論をしようとする場合、Appleは競争力のある解決策には見えません
価格がはるかに高く、いくつかのLLMを保存するには多くの容量が必要なのに、SSDの拡張も限られています
正しい点は、AMD Strix Haloシステムが以前はNVIDIAよりずっと安かったのに、今では同じ価格になったということだけです
Strix HaloのCPUはNVIDIAより優れていますが、NVIDIA GPUはAMD GPUより優れている可能性が高く、CUDAはうまく動作することが保証されています