インテルCEO: 「業界全体にCUDA市場をなくそうとする動機がある」
(tomshardware.com)- Intel CEOのPat Gelsingerは、New York Cityのイベントで Core Ultra と 5th Gen Xeon のデータセンター向けチップを公開し、NvidiaのCUDA支配はAI学習で永遠には続かないと主張した
- GelsingerはMLIR、Google、OpenAIを例に挙げ、業界がAI学習をよりオープンにするため Pythonicなプログラミング層 へ移行していると見ている
- IntelはCUDA依存のない 推論(inference) 市場をより重要な勝負どころと見ており、Gaudi 3、Xeon、エッジPCを前面に出して、学習後のモデル実行をめぐる競争に挑もうとしている
- AI戦略の中心には OpenVINO があり、Intelは一部の演算はクラウドで、一部はPCで処理される混合コンピューティング環境を想定している
- GelsingerはデータセンターAI市場でCPU、アクセラレータ、ファウンドリ で競争すると述べ、社内チップの機会とNvidia・AMDなどの商業機会の両方を追求すると明らかにした
CUDA支配に対するIntelの攻勢
- Pat GelsingerはNew York CityのイベントでIntel Core Ultraと5th Gen Xeonのデータセンター向けチップを公開し、Nvidiaの CUDA 技術を直接標的にした
- NASDAQで質問を受けた場で、Nvidia CUDAがAI学習で持つ支配力は永遠ではないと答えた
- 彼は「業界全体にCUDA市場をなくそうとする動機がある」と述べた
- MLIR、Google、OpenAIは、AI学習をよりオープンにするための Pythonicなプログラミング層 へ移行していると見ている
- CUDAの堀を「浅く小さい」と表現し、業界がより広範な学習、イノベーション、データサイエンスのために、より幅広い技術セットを持ち込もうとしていると主張した
学習より推論を重視する戦略
- Intelは学習だけで競争するよりも 推論 を中核市場と見ている
- Gelsingerによれば、モデルが一度学習されればCUDA依存はなくなり、重要なのはそのモデルをどれだけうまく実行できるかだという
- ステージで初公開された Gaudi 3 は、この競争に対応する製品として提示された
- XeonとエッジPCも同じ方向の競争軸として言及された
- Intelが学習市場を放棄するという意味ではないが、Gelsingerは「根本的には推論市場が勝負どころ」だと見ている
OpenVINOと混合コンピューティング
- GelsingerはIntelのAIへの取り組みにおける中核標準として OpenVINO を強調した
- 今後は一部の演算がクラウドで、一部の演算がユーザーのPCで処理される 混合コンピューティング の世界を予想している
- Sandra Riveraは、IntelがデータセンターからPCまでスケールを持っている点から、選ばれるパートナーになり得ると付け加えた
- Riveraは、Intelが大量生産できる点も強みとして打ち出した
データセンターAI市場を狙う三方向の競争
- Gelsingerは、IntelがデータセンターAIの市場全体で CPU、アクセラレータ、ファウンドリ という3つの方法で競争すると明らかにした
- 社内機会としてはTPU、Inferentia、Trainiumのようなチップが言及された
- 商業機会の面では、Nvidia、AMDなどとの協業可能性もすべて追求する姿勢だ
- Intelは自社製品での競争と並行して、ファウンドリプレイヤーになる戦略も打ち出している
競争構図に残る問い
- Gelsingerはこの日の発表で強い自信を示し、チームの発表を主導した
- CUDAに実際に対抗できるかどうかは、Intelが公開したチップや競合他社が開発中のチップのアプリケーションがより広く普及した後に確認される問題として残っている
1件のコメント
Hacker Newsの意見
他のコメントにもあるように、核心は CUDA。IntelやAMDもチップ自体はかなり速く作れるが、本当の競争相手がソフトウェアとエコシステムだということを理解していない。
たとえばeBayでは、A100とほぼ同等の性能の中古MI100を5分の1の価格で買えるが、これほど安い理由は、Nvidia GPUに比べてソフトウェアの非互換性のせいで動かすのに膨大な時間を費やすことになるからだ。
GoogleもPyTorchにXLAインターフェースを付けて、研究者にそこそこ互換性のある経路を提供している程度で、Intelも同じようなものだ。
この分野の企業なら、Hugging Faceの全モデルのような巨大なテスト群を作り、問題を力ずくで一つずつ直していかなければチップは売れないだろう。
Intelはいつものようにオープンなイニシアチブを発表した後、支援は最小限にとどめており、OpenVINOは大した成果もなく終わる可能性が高そうだ。OpenAIのTritonのほうがすでに多く言及されているように見える。
PyTorchがIntel GPUでうまく動くなら、多くの人は喜んで移行するだろう。
ある程度年を重ねていれば、このパターンを業界で何度も見てきただろう。1990年代のUnix対Windows NTの歴史もこうした動きでいっぱいだったし、ネットワーキングでもUltraEthernetでまた同じことが起きている。
OpenGLはおそらく最も成功したアプローチだったが、かろうじて機能した程度で、すでに勝ち筋に乗っていなかったプレイヤーにはほとんど役に立たなかった。Unix 95もUnix 98もうまくいかなかった。
Intelは関連イニシアチブを声高に語った後、1、2四半期後にその部門を大幅に削る、という動きをしそうだ。
CUDA領域で競争するには複数年のコミットメントと大規模な採用が必要で、そのためには給与も市場水準まで引き上げなければならない。
NVIDIAの取り分を奪うには、今すぐH100より優れたものを作る必要はない。4090、4080、さらには3080レベルで満足でき、価格は半分で、AmazonやNewEggなどで即購入でき、「価格問い合わせ」ボタンのない製品を求める消費者は多い。
AMDとIntelは、チップを実際に購入可能にする点ではNVIDIAよりずっと優れているが、それだけでは不十分だ。
必要なのは、
nvccに入れていたまったく同じコードをそのまま受け取ってコンパイルするintelcc、amdcc、qualcommccだ。関数プロトタイプが一つでも違ってはいけないし、質問なしに対象ハードウェアで動作しなければならない。CUDAのドロップイン代替である必要がある。そうなれば、PyTorchやその他すべてを別のチップ向けに再コンパイルする作業は些細なものになるだろう。
興味深い事実として、NVIDIAのエンジニアの半数以上はソフトウェアエンジニアだ。JensenはGPUの上に強力なソフトウェアスタックを意図的かつ戦略的に築き上げ、何十年もそうしてきた。
Intelが、数字だけを見る経営者ではなくJensen並みに技術的かつ戦略的なCEOを見つけるまでは、CUDAにうまく反撃するのは難しそうだ。
Gelsingerは1979年に18歳でIntelに入社し、1987年には80386マイクロプロセッサのプログラミング本を共著し、1989年に登場した第4世代80486プロセッサの主任設計者だった。
32歳でIntel史上最年少の副社長となり、2001年にCTOに就任して、Wi-Fi、USB、Intel Core、Intel Xeon、14件のチッププロジェクトといった中核技術の開発を率いた。Microsoft WinHECに対抗するIntel Developer Forumも始めた。
Intelが自分で足を引っかけて転んだとしても、より多くのチップメーカーを巻き込むインセンティブは大きい。これは起こることで、問題はそれが数か月なのか、数年なのか、10年なのかだけだ。
個人的には短いほうに賭ける。ほとんどは行列乗算の問題に見えるし、そこに突然、資金と関心が大量に流れ込んだからだ。AMDのAPU戦略 [0] もMI300Aでハイエンド市場に到達し始めており、興味深い展開だ。
[0] この流れを追っていない人のために補足すると、AMDはシステムメモリとGPUメモリを統合してきた。正しく理解しているなら、これらのチップではもはや「GPUへデータをコピーする」必要がない。基本的にCPUが行列演算のための大きな拡張を持つようなものだ。以前はこの技術を低価格CPUに入れていたためAIワークロードには有用ではなかったが、今は大型チップに入れている。
もちろん第一印象が悪かっただけかもしれない。買収発表の際にPivotalに最初に言った言葉が「皆さんは私たちのいとこでしたが、今では子どもに近い存在です」で、それで全体の雰囲気が変になった。
ソフトウェアのないハードウェアは、ただの高価な砂だ。すべての半導体企業はこれを知っている。そもそもx86でこのパッケージ全体を完成させたのはIntelだった。
GPU計算の領域では、CUDAはx86だ。どこにでもあり、事実上の標準であり、いつかはディスラプトされるだろう。問題はそれに1年かかるのか、10年かかるのかだ。
CUDAより優れたツールチェーン、エコシステム、プログラミング体験を作り、あらゆる計算プラットフォームで最高性能のまま互換性を持たせられるなら素晴らしい。全員が得をする。
それまでは、そういう主張は少し滑稽だし、とくにOpenCLがプログラマー体験と縮小していくサポートの面で失敗したことを考えるとなおさらそう。DX/GL/Vulkanのコンピュートシェーダーで汎用GPU計算をやろうとした試みも同じ。
本当に「動機付け」されているのか？ すでに何年もあったのに、結果は惨憺たるもの。CUDAに投資されたものの一部でも投資したのか分からない。言葉ではなく金で示すべき。
補助プロセッサも嫌だし、例外だらけのC/C++であれ、出来の悪いPythonの複製であれ、また別の壊れた特殊目的言語を作ろうとするのも嫌だ。単にコアをもっと増やして、一般的なプログラミング言語の本物のスレッドを使わせてくれればいい。
IntelとAMDには、OpenCLの上で似た機能を提供する時間が何年もあった。
まず自分たちの失敗を振り返るべきだと思う。
試してみようと思って調べたときも、実装が複数あり、それぞれ対応するOSとハードウェアのサブセットが違っていて、かなり雑然としていた。
https://www.intel.com/content/www/us/en/developer/tools/onea...
人々はNvidiaハードウェア上ですら、より遅く、もしかすると安いだけの計算を買いたいとは思わない。なのに、なぜIntelハードウェアでそれをやるのか？ アプリも変えなければならないので、明らかに最初から難しそうに見える。
この分野の専門家ではないが、何か見落としているのだろうか？ x86業界がNvidiaの提供するものから離れたいなら、Intelは何らかの形で「より良い」に当たる項目を埋めなければならない。
その代わりにCUDAの上に積み上げておいて、他のハードウェアベンダーがCUDAを持っていないと不満を言っている。
OpenCLは、複数の会社が実装可能だと合意できた共通部分集合だったからだと思う。CUDA、OpenCL、C++、OpenMPのすべてにコンパイルされるコードを書いたことがあるが、ひたすら「何だ、OpenCLはこれもできないのか？ くそ」の繰り返しだった。
AI分野に詳しい人に、CUDAの本当の堀が何なのか説明してほしい。
ハードウェアではなくソフトウェア、つまりCUDAエコシステムだというのは誰の目にも明らか。
以前少し機械学習を扱ったことがあるが、モデルを学習・調整するレベルでは高水準ライブラリを使っていて、私の知る限り、それらのライブラリがどのバックエンドを使うかを
if文で決める程度だった。ならばIntelなどが実用的な競合を実装すると仮定したとき、多くのユーザーにとって移行はスムーズだと考えるのは間違いなのだろうか？ 研究者や限界を押し広げる人たちには当てはまらないかもしれないが、たいていの会社にとって移行コストは大きくないように思える。
そうした製品も米国の大企業が作っていた。彼らはPCを汎用品化しようとしていたのではなく、大きな市場の小さな一片を欲しがっていた。
本物のPCクローン、つまり純粋なドロップイン互換品は台湾で作られ、市場を支配した。大企業は、価格が低く全員が同じ土俵で競うコモディティ化した市場を望まない。「スムーズな移行」はまさにそういう結果をもたらすので、これらの企業はそれを作らないのだ。
もちろん、言うほど簡単ではない。GoogleのTPUでさえ、ドル当たりの浮動小数点演算でH100に並ぶのにまだ苦労しているし、Jaxを使わないなら利用もかなり面倒だ。
競合、とくにIntelはトップダウンのアプローチで市場に入ろうとしているように見える。逐次処理ハードウェアを使って推論市場の一部を取ろうとしており、実質的にNvidiaで起きているイノベーションに頼っている。CUDAは常に一歩先を行くだろう。
大規模LLM学習においてCUDAは大きな堀ではない。AnthropicがCUDAからTrainiumへ移ったことを見れば分かる。おそらくすべてのカーネルをTrainium向けに書き直したのだろう。
人々がCUDAから離れたがっているようには見えません。ここ数か月でいくつかのモデルやツールを見てきましたが、ほとんどはだいたいこんな感じです
device = "cuda" if torch.cuda.is_available() else "cpu"AMDのニューラルネットワーク・ミドルウェアを実装しているものは、まだ一つも見たことがありません: https://www.amd.com/en/developer/zendnn.html
cudaデバイスとモジュールをオーバーロードして、機能チェック上はROCmがCUDAのように見えるようにしている、と理解しています移行をスムーズにしたいし、既存コードはCUDAを確認していることが多いので、そのコードが動くように必要なことをしているわけです
その循環を断ち切る合理的な方法は、AMDが主要な人気プロジェクトにコード、テスト、簡単な「すぐ動く」インストールを積極的に提供してAMDサポートを追加し、後でハードウェアをもっと売ることです。しかしAMDがそうしているようには見えません
なのでAMD GPUを使うときも、
device = "cuda"のような意味がそのまま動作しますIntelはこの10年間、何もしてきませんでした。かろうじて動くGPUに何十億ドルも無駄にし、CPU独占に寄りかかって革新を遅らせながら利益だけを吸い上げてきました
少なくともNvidiaはAIの発展を助ける何かを作り、大胆な賭けが成功しました
Pat GelsingerとLisa Suはどちらもソフトウェアをまったく分かっておらず、委任すらできないように見えます。自分たちの極めて複雑なハードウェア向けソフトウェアを「コミュニティ」がやってくれると期待しています
NvidiaのBill Dalyの発表 [1]を見ると、ハードウェアとソフトウェアを一緒に発展させてきたことが分かります。CUDAプログラミングモデルは昔の巨大な賭けであり、彼らは正当に機械学習/AIで勝ったのです
IntelとAMDが根本的に変わらなければ、勝負は終わりです。ARMとNvidiaに負けるでしょう
[1] https://www.youtube.com/watch?v=kLiwvnr4L80
これは人々が言うよりはるかに難しいことです
船は10年前にすでに出航していました。その頃、大学で汎用GPU計算の科目、おそらく「異種並列プログラミング」のような名前の授業を履修したのですが、最初の講義で初めて、すべてのハードウェアと教材をNVIDIAが無料で提供していたことを知りました
結果として、代替案がまったく触れられない純粋なCUDAの授業で、昔のWordやExcelの大学講座のようでした
Nvidiaは堀を作る、あるいは買うのが本当に得意です
PhysXでは、Nvidia GPUがないと、SSE対応CPUでも最適化されていないFPUの遅いパスに落ちていました: https://arstechnica.com/gaming/2010/07/did-nvidia-cripple-it... https://www.realworldtech.com/physx87/3/ 「Nvidiaの立場では、x87命令とシングルスレッドを使って基本的なCPU性能を下げれば、GPUがより良く見える」
「The Way It’s Meant To Be Played」プログラムは、スタジオに金を払い、AMDを直接不利にさせていました。UbisoftがDX10.1パッチを取り下げたのが一例です: https://techreport.com/news/14707/ubisoft-comments-on-assass...
「GameWorks」プログラムではさらに一歩進め、ゲームスタジオに金を払ってNvidiaの性能低下ライブラリをゲームに直接組み込ませていました: https://techreport.com/review/21404/crysis-2-tessellation-to... https://arstechnica.com/gaming/2015/05/amd-says-nvidias-game... https://wccftech.com/fight-nvidias-gameworks-continues-amd-c...
NVIDIAにCUDAの支配力を維持するインセンティブがあることも完全に理解できるし、この市場環境でAMDやIntelなど他社が機会を逃したことも理解できる。
ただし、このような技術的・機能的な堀が特定のユースケースで事実上の独占を維持すると、最終的には消費者が損をするという点は指摘しておく価値がある。
CUDAはAIだけでなく、物理、数値モデリング、暗号学、生物学などにも使われている。Nvidiaは何千ものユースケースを見つけ、顧客の意見を聞きながらプラットフォームを作り上げ、その結果としてAIが巨大な収益源になった。
問題は、IntelとAMDが今後も「AI」の金脈だけを見て、デバッグ、コンパイラ、言語統合、GUI、バグ修正まで含むプラットフォームの残りの部分を無視する可能性が高いことだ。
Intelが「OpenCLに数十億ドルを投資して最高水準の開発者体験とプラットフォームを保証し、CUDAを排除する」と言うなら期待できるが、今のところ読み取れるのは「PyTorchでCUDA関数呼び出しをいくつか置き換える」という程度に近い。性能問題をデバッグしなければならなくなった瞬間、GitHubでCUDAエンジニアと直接話せる代わりに、死んだIntelのメーリングリストにメールを送らなければならないと気づくまでは、面白いだろう。
そういう意味でCUDAは消費者にとって大きな利益だ。代替案が本当にひどいからだ。