NvidiaのProject Digits、「個人向けAIスーパーコンピューター」
(techcrunch.com)- NvidiaはCES 2025で、Grace BlackwellベースのAIハードウェアをデスク上に置ける小型デバイスとして公開した
- Project Digitsは、NvidiaのAIソフトウェアスタックをローカルで実行する個人向けAIスーパーコンピューターであり、クラウドとワークステーションの中間にある選択肢を狙っている
- 単体デバイスはGB10 Grace Blackwell Superchipにより最大1ペタフロップの性能と、2,000億パラメータのモデル実行をサポートするとNvidiaは説明している
- GB10はMediaTekとの協業で開発され、Blackwell GPU、20コアGrace CPU、128GBメモリ、最大4TBのフラッシュストレージを含む
- 5月から主要パートナーを通じて3,000ドルで販売予定で、強力なローカルAI開発環境ではあるものの、個人購入層は限られる可能性がある
デスク上に降りてきたGrace Blackwell
- Nvidiaはラスベガスで開催されたCES 2025でProject Digitsを公開した
- Project Digitsは、同社のGrace Blackwellハードウェアプラットフォームを小型フォームファクタで提供する「個人向けAIスーパーコンピューター」だ
- 主な対象としてAI研究者、データサイエンティスト、学生が挙げられている
- CEOのJensen Huangは、Project DigitsはNvidiaの完全なAIスタックを実行し、デスク上に置くクラウドコンピューティングプラットフォームであり、ワークステーションのようにも使えると説明した
モデル実行規模とハードウェア構成
-
GB10 Grace Blackwell Superchip
- Project DigitsにはNvidiaの新しいGB10 Grace Blackwell Superchipが搭載される
- AIモデルのプロトタイピング、ファインチューニング、実行に最大1ペタフロップの計算性能を提供する
- 単一のProject Digitsデバイスで最大2,000億パラメータのモデルを実行できるとNvidiaは説明している
-
チップとメモリ構成
- GB10はMediaTekとの協業で開発された
- Nvidia Blackwell GPUと20コアのNvidia Grace CPUが接続された構成だ
- 内部には128GBのメモリプールと最大4TBのフラッシュストレージを備える
-
拡張と利用方法
- 2台のProject Digitsを接続すると、ワークロードによっては最大4,050億パラメータのモデルを実行できる
- 単体で使用でき、基本的なWindowsまたはMac PCに接続して使うことも可能だ
- OSはNvidiaのLinuxベースのDGX OSだ
発売時期と価格
- Project Digitsは5月から「主要パートナー」を通じて3,000ドルで販売される予定だ
- Huangは、Grace Blackwell Superchipを数百万人の開発者に届け、データサイエンティスト・AI研究者・学生のデスク上にAIスーパーコンピューターを置くことが、AI時代への参加を広げることにつながると述べた
2件のコメント
言っている通り、性能も期待通りに良くて、保守もしっかりしてくれるといいですね。
Hacker News の意見
片隅にある Jetson Nano を見ると、Nvidia が4年で見捨ててしまい、引退後は文鎮の役割しか果たしていない
「AI」向けのシングルボードコンピュータとして登場したが、すでに古いカスタム版 Ubuntu 18.04 ベースで、18.04 のサポートが終了すると Nvidia は独自の JetPack とドライバの更新を完全に止めた
その結果、CUDA や Pytorch のような機械学習スタックも役に立たなくなり、ソフトウェアサポートが Linux カーネルのアップストリームに取り込まれない限り、Nvidia のシングルボードコンピュータは二度と買わないつもり
Nvidia と Linux の関係は全体的に複雑だった。ドライバは提供しているが、Linux インストールを復旧不能なほど壊す最も確実な方法の一つが、そのドライバをインストールまたはアップグレードすることだった
Linux を第一級のサポート対象として優先しているというより、「動く」と言える最低限だけを受け入れている感じだ
正直、Nvidia のシングルボードコンピュータは得るものより面倒のほうが大きかった
かなり良くなったように見えるが、JetPack Linux のフォークには Tegra 用の
nvgpuドライバが別にあり、まだそのツリーから分離されていないため、GPU なしのカーネルという制約が大きいロボティクスやエッジ AI 推論を明示的にやるのでなければ、もっと良い代替がある
このデバイスは名前、DGX 風の設計、DGX OS のようなソフトウェアを見ると、Tegra よりも Grace Hopper／データセンター設計に近い印象だ
その種のワークステーション／サーバー系は UEFI で、好みのディストリビューション上でアップストリームの Linux カーネルとオープンソースの Nvidia ドライバを使える可能性がある
そうなら Jetson シリーズよりはるかに馴染みのある普通の Linux マシンになり得るが、GH200/GB200 にもカスタムパッチが必要かどうかはまだ分からない
時間が教えてくれるだろうが、優れた GPU と優れた ARM Cortex 設計が組み合わさり、Jetson シリーズよりも伝統的な Linux ボックスのように動くなら、素晴らしい ローカル AI 推論マシンになり得る
経験上、ベンダーはセキュリティパッチをアップストリームほどきちんと面倒見てくれない。Nvidia の閉じたエコシステムを考えると、長期サポートには大きな期待はできない
これは 5x シリーズ GPU よりも大きな意味がありそうだ
AI/LLM ブームを考えると、M4 Max/Ultra Mac mini が出たとしても、Apple がつかんでいる趣味の AI 開発者層の一部を侵食できる
この数年、Nvidia はすべてを正しくやっているように見えるので、株を持っていればよかったと思う
Xeon Phi はさまざまな理由で失敗したが、最適化されたソフトウェアの可用性だけは失敗しなくてもよかった部分だ
今は Xeon、EPYC、多数の高効率コアを持つ MI300C があるが、この10年間こうしたハードウェア向けのソフトウェアを使ってきていれば、性能を引き出す問題はすでに解決されていたはずだ
Itanium も同じで、Intel がまず保証すべきだったのは優れた Linux サポートであり、最初のシリコンが出る前から準備できたはずだ
しばらくは Itanium のサポートも良かったが、今ではとっくに死んだプラットフォームになっている
Sun も SPARC で同じように失敗した。ワークステーションを諦めた後、簡単なオンボーディング経路がなかったからだ
OpenSolaris で OS の関連性を保ち、x86 Solaris を事実上黙認して人々が学び訓練できるようにした点は良かった
Oracle Cloud がせめて SPARC をクラウドインスタンスとして提供していればよかった
IBM も今、同じ道を歩んでいる。ワークステーション級の x86 と性能で競える、妥当な入門用 POWER マシンがない
机の横に置くケースに入れられる小型のハーフラックマシン程度がせいぜいだ
AIX、IBMi、Linux on POWER で新システムを展開しようとする会社はほとんど見たことがない。競合プラットフォームで構築するのがあまりに簡単だからだ
IBM Cloud で AIX、IBMi、IBM Z インスタンスは手に入るが簡単ではなく、「0 から SSH/5250/3270 まで」進むチュートリアルも見つけられなかった
Linux on Z は可能だが、IBM が Linux on POWER を提供する方法はなさそうで、一部の HPC 研究所だけがまだそうしたリソースを提供している
多くの企業は高価なエンタープライズ級チップを商用用途に空けておくため、こうしたデバイスをローカル開発用に買うだろう
天才的な一手だ。Mac mini に似たサイズにこれだけの性能を詰め込んだというフォームファクタのほうが、むしろさらに驚きだ
6000ドルで2台買えば 400B+ モデルをローカルで動かせるなんて、あり得ないほどだ
デスクトップで ChatGPT のようなものを動かす想像は、1年前なら夢にも思わなかった
それでも趣味ユーザーは技術スタックの改善を大きく後押しするので、これを使い始めれば NVIDIA エコシステムはさらに深く根付くだろう
統合メモリを持つ Mac は、彼が直ちに対応しなければならない脅威だ。見たところ Jensen は戦時 CEOで、冗談を言っているわけではない
AMD がハイエンド領域にいないのも驚きではない。Nvidia は Apple と正面からぶつかっており、AMD は Apple と競合する事業をしている会社ではないからだ
人々は余暇にファインチューニングもするし、成人向け画像生成もやりたがるからだ
自宅で拡散モデルと LLM を動かしていると投稿するユーザーたちのベン図は、ほとんど円に近い
NvidiaがWintel系のどんなものよりも価格性能比に優れたLinuxデスクトップ・スーパーコンピューターを出し、新しいソフトウェアスタックはWin32には移植せずWSL2上でだけ動くというのは驚き
本当にLinuxデスクトップの年が来るかもしれない
Neoverse N2 20コアがZen 5 16コアと比べて特別に優れているようには思えない
GPUのほうは有望に見えるが、メモリ帯域幅、構成、詳細仕様、性能には触れていない
「3000ドルから」、最大4TB NVMe、最大128GB RAMといったぼんやりした情報しか見ていない
AMD Strix Halo、つまりAI Max+ 395もかなり競争力があると予想している
そうだとすると、過去数十年続いてきた「ワークステーション上のUnix」という流れの延長線なのではないかと思う
NvidiaはMicrosoftと緊密に協力してカードを開発し、主要機能はまずDirectXに入り、その後VulkanとOpenGLにはNvidia拡張として入り、のちに他ベンダーが似た拡張を追随すると標準になる
WSL2は本質的には仮想マシンではないのか？ だとするとLinuxで動くという意味で、LinuxをWSL2上でも動かせるという話ではないのか？
本当にWSL2でしか動かないなら話は別
Linuxワークステーションだと思って期待していたが、何らかの形でWSL2が絡む、あるいは必須なら即撤退すべき
コストを安価なクラウドソリューションと比較するコメントが多くて少し驚いた
Nvidiaの価値提案はまったく別物だと思う
たとえばEUで個人情報や会社の機密を扱うスタートアップがLLMでそれを分析しようとするなら、性能がボトルネックでない限り、データが地下室の外に出ないことだけでも3000ドル以上の価値があるかもしれない
トークン単位で料金を払うより、自分が所有するハードウェア上のLLMでくだらない実験をはるかに多くやるようになる
実際、今でもClaudeより小さなローカルLlamaたちと過ごす時間のほうがずっと多い
機微な作業をしていなくても、自分のデータをこうした会社に送るのはやはり気が進まない
これはクラウドと競合するのではなく、Mac miniと高性能GPUと競合する製品であり、その市場では3000ドルは非常に魅力的な価格帯だ
テック企業がこうした装置を数台ローカルに置けば、ユーザーは機微なデータで社内LLMに問い合わせられる
今はデスクトップのアップグレード後に余った部品を組み合わせたハードウェアでモデルを開発・学習・利用しているが、これは1台は確実に買うし、うまく動けば2台買うかもしれない
ただし規制や事業上の利害はデータの冗長性と保護を求めることもあり、すべてをオンサイトだけに置くやり方ではその要件を満たせない場合がある
ここであまり取り上げられていない市場が一つあり、バイオインフォマティクスだ
この市場の強者であるIlluminaは、数千のゲノムを高速に解析するためにDRAGENというサーバー向けカスタムハードウェアチップをすでに提供している
ヒトゲノムシーケンシングが一般的になるにつれ、この製品の主な市場は個別化医療になっている
Oxford Nanoporeのような企業は、シーケンサーから出る生の電気信号をA、T、G、Cに変換するベースコーリングにオンボードGPUを使っているが、サイズと電力の制約のため期待ほどにはうまくいっていない
この装置はONTのようなところにとって大きなゲームチェンジャーになり得るし、アダプティブシーケンシングのようなさらに高度な作業では特にそうだろう
バイオインフォマティクスの他の領域、たとえば日常的な解析ソフトウェアの大半は、依然としてCPUとRAMへの依存度が高い
Illuminaはこのチップを作る会社を1億ドルで買収した
クラウド上の汎用ハードウェアでゲノム1つを解析する費用は通常10ドル未満
もちろん、こうしたチップが現在は不可能だったりコストのために阻まれていた解析を可能にすることはあり得る
しかし少なくとも今のゲノミクスのボトルネックは解析ではなくシーケンシング費用で、現在はゲノムあたり400〜500ドル程度だ
ただしASIが本格化するには、まだ1〜3年は残っていると思う
気になって調べてみたところ、この装置はDGX OSというものを実行する
DGX OS 6の主な機能は、Ubuntu 22.04ベース、最新の長期サポートLinuxカーネル5.15、PythonやGCCなどのソフトウェアパッケージ更新、追加パッチなしでGPU Direct StorageをサポートするNvidia最適化Linuxカーネル、すべてのNvidia GPUドライバーブランチとCUDA Toolkitバージョンへのアクセス、標準Ubuntu OFEDと追加機能向けNVIDIA OFEDの選択インストール、Secure Bootサポート、DGX H100/H200サポートだ
バイナリの塊であるNvidiaドライバーを載せた状態でアップグレードするとどうなるかが思い浮かぶ
ああ、すまない、テレメトリと言うべきだった
Nvidiaは、Intel/AMDがCUDAエコシステムを脅かすためにやるべきだったことをやってしまった
「安価な」128GBのローカル推論デバイス/GPUを出したのだ
よくやったし、今後のIntel/AMDのAIへの取り組みは暗く見える
Nvidiaの立ち位置を基本的なSWOT分析だけしても、競合がこうした製品を出す可能性は必ず考慮すべきだったはず
すでにこの領域の周辺を少しずつ削っているAppleであれ、できたはず、あるいはやるべきだったAMD/Intelであれ、だ
必ずこうなる保証はないが、あらゆる机とあらゆる家庭にLLMのようなモデルが載る未来は十分にあり得る
これはコンピュータに接続して特殊な作業を走らせる周辺機器ではなく、Linuxを動かす完全なコンピュータだ
庭の隠者のようなものだ。いつか誰もがこうしたものの未来版を一台ずつ持ち、そのデバイスが共に暮らし、共に学び、クラウドベースのSaaS AIと違って即座に教え込めるため、平均から抜け出す利点を与えてくれる未来を想像してしまう
利点があっても、ストリーミングサブスクリプションの代わりに自分のPlexサーバーを運用している人はいまだにごく少数だ
ローカル側でもハードウェアの進歩と、小型モデルがさまざまなタスクをかなりうまく処理できるという発見が続けば、こうした高性能ローカルワークステーションは、せいぜいニッチな魅力にとどまりそうだ
どこから来た言葉なのか気になる
IBM Roadrunnerは、2008年5月25日に1ペタフロップ、つまり毎秒1000兆回の浮動小数点演算に到達した最初のスーパーコンピュータだった
1億ドル、2.35MW、6000ft²だった
一方Project Digitsは、AI研究者、データサイエンティスト、学生向けに設計されており、Nvidiaの新しいGB10 Grace Blackwell Superchipにより、プロトタイピング、ファインチューニング、AIモデルの実行で最大1ペタフロップの性能を提供する
3000ドル、1kW、0.5ft²だ
そのため少なくとも8倍の差があり、実際にははるかに大きいはず
DigitsがFP32で1/8ペタフロップを出せるかどうかもかなり疑わしい
それ以外の差は、20年という時間を考えればもっともらしく見える
Nvidia Jetson AGX Orin 64GB Developer Kitの後継のように見える: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
メモリ帯域幅と計算性能の面で詳細仕様が気になる
今のままだと、カーネルのメジャーアップデートは一生に1〜2回しか受けられず、OSをフラッシュするユーティリティを実行するために、x86 PCへ6年前のUbuntuをインストールしなければならないという妙なことをする羽目になる
技術コミュニティで有名なのは、シングルボードコンピュータ症候群のせいだ
人々はできそうなことに興奮して買うが、実際に得意なことが購入理由と違うため、1年後には95%が引き出しに入る
この製品は、記事で述べられているようにHPCバリアントの子孫に近い
任意のPCより一般的なAI作業をうまく実行したい、あるいは動かしたい人にとって、実際に役立つ入門デバイスになることを意図しているように見える
ただしNvidiaはあまり値下げしない会社なので、どこかに但し書きがあるはずだ