YCの「LLMによるチップ設計」提案が的外れな理由

 (zach.be)
1 ポイント 投稿者 GN⁺ 2024-11-18 | 1件のコメント | WhatsAppで共有
  • YCは、LLMがカスタムデジタルシステム設計のコストを大きく下げられると見ているが、中心的なボトルネックはコード生成よりも チップアーキテクチャ設計と検証 にある
  • LLMは時々動くVerilogを作れても、まだ人間より性能が低く、最新のアクセラレータチップの性能を左右する 新しいアーキテクチャ を設計できない
  • コスト削減型アプローチは過去の 高位合成(HLS) に似ており、HLSも生産性は高めたが、RTLフローより結果品質と性能が低く、高価値チップ市場で主流にはならなかった
  • LLMやHLSが役立つ領域は、RTLの専門性が不足したチームによるFPGAアクセラレーションのように限定的であり、genomicsやCFDのような市場はGPUが一部を満たしており、規模も小さい
  • より現実的な機会は設計自動化よりも チップ検証の生産性 にあるが、LLMに複雑なチップ仕様を理解・推論させるという課題が残っている

YC提案が見落としたチップ設計のボトルネック

  • YCは最新の Request for Startups で、カスタムデジタルシステム設計はカスタム設計・開発・テストのために高価であり、大規模言語モデル によってコストを大幅に下げられると見ている
  • 特殊なアルゴリズムや計算を最適化すれば、cryptocurrency mining、data compression、special-purpose encryption のような処理を 5x~100x 高速に、10x~100x 少ないエネルギーで実行できる
  • Gary TanとYCが、LLMは人間より100倍優れたチップを設計できると信じているのだとすれば、それはチップ設計の難しさと設計者の専門性を大きく過小評価している
  • LLMは機能するVerilogを書くことはあっても、まだ人間より性能が低く、最新のアクセラレータチップの性能向上を牽引する 新しいチップアーキテクチャ を設計する能力はない
  • 結局のところLLMは、チップを劇的に良くする主体というより、平凡なVerilogコードを生成するツールに近い

HLSが先に経験したコスト削減アプローチの限界

  • LLMベースのツールでチップ設計コストを下げ、ハードウェアアクセラレーションの経済性を広げるという期待は、過去の 高位合成(HLS) の試みに似ている
  • HLSは1998年の Forte Design Systems 設立とともに登場し、Cynthesizerは特定のタイミング制約に基づいてSystemCをVerilogへ自動変換した
  • HLSツールは、C、C++、Scalaのような高水準言語のコードをVerilogに変換し、それをASICおよびFPGA向けのロジックゲートへ合成できるようにする
  • 目標は、深いVerilogの専門知識を持たないチームでも、より安価かつ容易にシリコンを開発できるよう支援することだった
  • Cynthesizerは広く定着せず、Forteは2014年にCadenceに買収された後、CadenceのHLSツールStratusに統合された

HLSの現在の評価と高性能チップ市場

  • Xilinx、現在のAMDはFPGAアクセラレーションを狙ってHLSを積極的に推進し、Vitis は業界で優れたHLSツールの1つと評価されている
  • Lan HuangによるHLS最新技術調査の序論は、HLSツールの限界を指摘している
    • 設計者は依然としてハードウェア設計の多くの側面にさらされる
    • 開発サイクルは依然として長い
    • 結果品質(QoR) はRTLフローより大きく劣る
  • 他の研究者による調査でも、同様に芳しくない結果が出ている
  • HLSは設計者の生産性を高めうるが、生成される設計の性能を低下させる
  • AIアクセラレータのように競争が激しい高価値チップ市場では、性能が中核的な競争指標であるため、優秀なRTL設計者を雇ってより高速なチップを作るための初期コストを受け入れるほうが妥当である

小規模アクセラレータ市場の経済性の問題

  • HLSは性能と効率が重要な高価値・大量生産チップでは定着せず、品質の低いVerilogを生成するLLMも同じ問題に直面する可能性が高い
  • HLSが成功した一部の事例は、シリコンの専門知識を持たないエンジニアがハードウェアアクセラレーションを活用できるようにした領域である
    • genomicsワークロードのFPGAアクセラレーション
    • CFDワークロードのFPGAアクセラレーション
  • このような場合にHLSが価値を持つのは、そのハードウェアアクセラレータを作るエンジニアに、RTLレベルで最適化された設計をゼロから作る経験がないためである
  • しかしgenomicsとCFDのハードウェアアクセラレーション市場は比較的小さく、GPUがすでにある程度の需要を満たしており、AIチップや暗号化アクセラレータの販売量の一部にも及ばない
  • 市場がより大きければ、最適化されたシリコンを作るために熟練したハードウェアエンジニアを投入する経済性が成り立っていたはずだ

コスト削減が開ける領域と限界

  • LLMはシリコン開発コストを下げることで、以前は経済性がなかったgenomicsのようなアプリケーション向け専用ASICを可能にできる
  • ただし、そのようなASICが以前に経済的でなかった理由は、巨大な市場ではなかったからである
  • ハードウェアアクセラレーションがまだ必要とされていないアプリケーションは、小さな市場である可能性が高く、スタートアップが狙うには悪いターゲットになる
  • 成長中の市場では、品質の低いLLM設計チップがスタートアップの安価な 初期の足がかり になる可能性はある
  • 市場が十分に大きくなり、完全なチップ設計チームを正当化できるようになれば、近い将来においては、人間が設計したチップが性能面でLLM設計チップを容易に上回ると見られる

チップ設計におけるLLMの現実的な役割

  • LLMベースのチップ設計が主に低価値市場しか開かないのだとすれば、スタートアップや既存EDA企業がLLMを活用しようとする理由は別のところにある
  • Verilog向けLLMコパイロットは、せいぜい平凡なものだが、簡単なコード片を書かせればエンジニアの時間を節約し、企業のコストを下げられる
  • より重要な領域は チップ検証 である
    • 一般にシリコンバグのコストは非常に大きいため、設計者1人あたり検証エンジニア2人が必要になる
    • 現代では優れた検証エンジニアを見つけるのが難しい
  • LLMが検証をより速く、より簡単に、より効果的にできるなら、既存の半導体企業にも半導体スタートアップにも大きな価値が生まれる
  • しかし、LLMにチップ設計仕様を実際に理解・推論させることは小さな課題ではなく、Bronco や Instachip のように微調整したLLMをチップ検証へ単純適用するアプローチには懐疑的である

検証に必要なモデルと恩恵を受ける主体

  • チップ仕様は複雑で不完全であり、迷路のような場合が多い
  • 成功するチップ検証には、LLMがチップの期待される内部状態を理解する必要がある
  • 本質的に言語モデルはチップに関する 形式モデル を持たなければならず、これは数学ではなく半導体検証に適用される AlphaProof に近い形になる
  • Normal Computing は、新しい thermodynamic chip architectures とともにこの方向の取り組みを進めている
  • LLMはチップ設計をより安価にできるが、主な受益者は、検証人員を減らせる大手半導体企業、より小さなチームで運営できる従来型のチップスタートアップ、LLMベースのツールを販売するEDAソフトウェアスタートアップである
  • LLMは100倍優れたチップを生み出したり、ハードウェアアクセラレーションが不足する市場を狙うハードウェアスタートアップを可能にしたりはせず、経済性が合わない

関連記事

1件のコメント

 
GN⁺ 2024-11-18
Hacker News の意見

  • EDA 分野で LLM はまだ先が長い
    数カ月前、LinkedIn で誰かが主要な LLM に、直感に反する描かれ方をしているものの実際には並列である 3 つのコンデンサ回路の合成容量を尋ねたところ、どれも正解できなかった。直列だと誤判定しただけでなく、直列容量の計算自体も間違っており、複数のプロンプトを試しても正答を出せなかった
    また、回路図の理解を助けるという AI ツールの広告を見たが、ギターのディストーションペダルのように見える回路で、コンデンサが直流を遮断することは当てたものの、RC ハイパスフィルタの構成要素である点は見落としていた。「電気工学の 4 年間でこれすら教えてくれなかった」というナレーションが可笑しかったが、コンデンサの直流遮断と RC フィルタを本当に教えないということなのかと思った
    この分野なら、自前で厳選した資料集を作り、より特化したモデルを学習させる必要がありそうだ。汎用モデルは迷走しすぎる

    • LLM の内部モデリングは、おそらく「学生の宿題用のコンデンサ回路図で、電気部品の計算課題が単純な足し算だと簡単すぎるから、逆数和の規則を使うのだろう」程度だと思う
      大学教育を受けた多くの人が、特定の科目で意味のあることを学んだとは信じていない場合も多い。そういう人たちがその科目で意味のあることを学び、覚えていなかった可能性は十分信じられるが、その責任が授業にあるのかはずっと疑問だ
    • そもそも汎用の指示チューニング済み LLMがこれを正解すると期待すべき理由が分からない。できなかったのはまったく驚きではないし、できていたらむしろかなり驚いたと思う
    • CS の学位のために履修しなければならなかった電気工学入門の授業が、今でも悪夢として残っている
      RC 回路は本当にきつかった
    • The Art of Electronics は単語数でどれくらいあるのだろう？ それをコンテキストに入れてやれば役に立つか見られるのではないか？

  • アイデア出しや学習のように、そもそも再現可能ではない段階で LLM を使うのは問題ない。だが、エンジニアたちが信頼性、検査可能性、理解可能性を必要とする極めて複雑なシステムの中核に、遅く、高価で、非決定的なブラックボックスを入れたがっているというのは、今でも信じがたい

    • 複雑なシステムの中核にいる非決定的なブラックボックスたちが、複雑なシステムの中核に非決定的なブラックボックスを入れたがっている、というのが信じがたいということ？
    • 受け入れるようになった。工学と、工学で金を稼ぐことはまったく別物で、後者には技術すら不要な場合がある。もちろん詐欺は非倫理的だ
    • まったく同意する。今すべての出典を探すことはできないが、[1] とその参考文献は、さらに掘り下げるためのよい出発点になり得る
      あり得るすべてのプロンプトを防げる「LLM ファイアウォール」を作るのは不可能だという証明か推測を見た記憶があるが、記憶違いかもしれない
      [1] https://arxiv.org/abs/2410.07283
    • 人間自体も、遅く、高価で、非決定的なブラックボックスに近い
    • LLM は使うサンプリング方法によっては完全に決定的にできる。方法によっては乱数要素がない
      残りはその通り。まだ検査可能でも理解可能でもない

  • 深い「理解」や新しい発明が必要な仕事は、統計的な単語再生機に任せるものではない。どの分野でも、LLM が本当に新しいものを発明した事例をまだ一つも見たことがない。その分野の専門家が新しいと判断するレベルの話だ
    LLM が輝くのは定型文の生成であり、それは非常に有用だ。これまで LLM に独創的な「思考」のように見えるものを見たことはない。仕事で毎日 AI を使っていてもそうだ

    • 独創的な「思考」を生み出す LLM はたくさんある
      ESM3: https://www.evolutionaryscale.ai/blog/esm3-release
      AlphaProof/AlphaGeometry2: https://deepmind.google/discover/blog/ai-solves-imo-problems...
      MatPilot による新素材の発見: https://arxiv.org/abs/2411.08063
      そして Nvidia Omniverse のデジタルツイン学習もある
      https://blog.google/technology/ai/google-ai-big-scientific-b...
    • 実験してみればいい。LLM がチップ設計を革新できると思うなら、はるかに簡単なことをやらせてみればいい。新しく、より優れたソートアルゴリズムを発明させてみるのだ
      Timsort や Dijkstra のような名前が使われるのには理由がある。そういうものを発明するには、まれな人間的創造性が必要だからだ。LLM が既存のアルゴリズムより意味のある形で優れた新しいソートアルゴリズムすら作れないなら、チップ設計のようなはるかに難しい仕事はさらに難しいだろう
    • 新しいとはどう定義するのか？

  • YC は LLM でチップ設計をすることに「筋が通っているか」には関心がない。他の VC と同じく技術的に無能で、関心があるのは買収される可能性のある誇大広告ベースのスタートアップを量産することだけだ
    Gary Tan は「より良いチップを作る」ことに関心があるのではなく、粗悪な誇大広告ベースの会社を数十億ドルで買ってくれるカモを探すことに関心がある。昔ながらの投資銀行ならぴったりだろう
    YC は技術的に無能で、世界をより良くしようとする組織ではない。彼らの言葉はすべて嘘で、本当の意図、つまり金儲けを隠している

    • 言い方は違ったかもしれないが、おおむね正しい。今日の VC なら、AI が不適切な道具だと分かっていても押し進めるだろうし、適用分野をより複雑にするほど、いわゆるカモを見つけやすくなる
    • 第一に、VC は「粗悪なスタートアップ」が買収されて儲けるのではなく、本物のアウトライアー的成功で儲ける。VC ビジネスで安定して金を稼ぐ方法はそれしかない
      第二に、実際の売上牽引がない「誇大広告ベースの会社」が「数十億」で売れた例を挙げられるか？
      第三に、投資銀行は資産売却を仲介するのであって、直接買い取るわけではない
      VC、スタートアップ、銀行の基本も知らないなら、この会話からは外れたほうがよさそうだ

  • Qualcomm DSP アーキテクチャチームで1年働いたので、この分野の経験は多少あるが、多くはない
    筆者はチップ設計におけるいくつかの重要な点を見落としている。時間と作業の大半は、高性能な Verilog を書くことに費やされるわけではない。設計者は質問に答え、文書を書き、定型文をコピーし、難解なマニュアルや図を読むことに膨大な時間を使う。LLM はすでに、こうしたすべての作業を支援できる
    現状の LLM だけでも設計チームのスピードを少なくとも2倍にできると見ており、より良いツールがあれば、モデルの知能が向上しなくても4倍、あるいは10倍まで可能かもしれない。利益の大半は、より多くの実験を回し、より多くの試行を行い、設計上の選択に対するフィードバックをより速く受け取り、文書化やコミュニケーション、ひどい文書を読むことに費やす時間を減らすところから生まれるだろう

    • 筆者です。反対しているわけではありません。実際、記事にもこう書きました
      「実のところ、LLM は収益性の高い市場のチップでもかなり価値がある。ただし、設計作業の大半を担うことはないだろう。Verilog 向けの LLM コパイロットは、よく見ても平凡だ。しかし、LLM に簡単なコード片を書かせれば、エンジニアの時間を節約し、最終的には雇用主のコストも下げられる。」
      設計者が2倍速くなるというのは、おそらく楽観的だと思いますが、私が間違っている可能性もあります。私のチップ設計経験の大半は、文書化がよくできた小さな会社でデータパスアーキテクチャと設計に集中したものだったので、平均的なエンジニアがどれほど多くの定型作業を扱っているかを過小評価しているのかもしれません
      それでも、LLM が近いうちに高性能データパスやネットワーキングの Verilog を設計するとは思いません

  • 記事の技術的な論点の大半には同意する
    それでも、YC がこの分野でのイノベーションを求めることには価値があるかもしれない。記事は、LLM をチップ設計に適用するうえで簡単な勝ち筋がないことを正しく示している。特定用途の市場が小さすぎれば、LLM が助けても大きな意味はなく、チップがあまりに重要なら最高のエンジニアを使いたくなるだろう。ソフトウェアと違って、チップ設計ではロングテール効果は大きくない。チップのテープアウトはハッカーにできることではなく、FPGA を触ってみることですら、PC でハックするより参入コストが高い
    しかし、前に進む明白な道があったなら、YC が革新的なアプローチを求める必要もなかったはずだ

    • 初心者のナイーブな傲慢さと言える
      George Hotz が AI チップ計画でチップ企業をひっくり返そうとしたことにも表れていた https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre... 複雑さをよく分かっていなかったようだ。ただし認めるべき点として、彼はすぐにソフトウェアと tiny-box の製作者へと方向転換した
    • YC にチップ設計の専門家は何人いるのか？
    • 前に進む明白な道はあるが、これは少数意見、あるいは周縁的な見解なのかもしれない。従来のトレードオフには従わない
      ビットレベルの非フォン・ノイマン型汎用シストリックアレイは、AI 計算だけでなく、ほぼあらゆるものを大幅に高速化できる。汎用計算を行うチップという意味だ
      チップ設計自体はほとんど些細なものだ。数年の経験がある人なら数日以内に作れると思う。次の TinyTapeout に設計を提出したい。固定収入なので、しばらく待つ必要があった
      本当の問題はプログラミングだ。果てしなく広がる未開拓地に近い。このアーキテクチャをターゲットにする良い方法がなく、Verilog や他のハードウェア記述言語を使いたいとは思わないだろう
    • 明白な道も危険なことがある。第一にリスクを分散できるとよく、第二に投資が増えればつながりも増える
      LLM ブームについては、結局、LLM とアルゴリズムを組み合わせれば、LLM だけを使うよりはるかに多くのことができると気づくことになりそうだ。ここでアルゴリズムという言葉は適切でないかもしれず、データベース、アルゴリズム、他のモデルのような補助ツールを指している。たとえば、データセット全体ではなくアクセス API だけを LLM に学習させることもできる

  • チップ設計については何も知らない
    しかし「X 分野に AI を適用するのは無理だ。X は複雑で、現在の LLM は人間より性能が低いからだ」という話は、いつも疑わしく聞こえる
    VC は現在の LLM ベースのシステムで X を改善しようとして投資しているのではなく、LLM ベースのシステムが100倍高性能になる未来に投資しているのだ
    文章を書くことも複雑で、LLM はかつて人間に及ばなかったが、今は違う。デジタルアートや音楽も同じだ。suno.AI を見ればよい。ここにはパターンがある

    • 記事では深く扱わなかったが、Verilog で超人的な性能を達成するうえでの大きな障害の一つは、高品質な学習データの不足だ
      専門家レベルの Verilog の大半は非公開なので、LLM は一般に Python より Verilog がはるかに苦手だ。それでも LLM は Python もかなり不得意だ
    • AI は芸術でもまだ人間に及ばない。LLM に楽観的な人たちとロジスティック曲線を理解していない人たちのベン図は、円のように感じる
    • この特定のケースでは、LLM がここからそこまでどう到達できるのか見えにくい。問題は React のウェブサイトを作るときのような定型コードではなく、過程で下さなければならない本当に新しいアーキテクチャ、特にアーキテクチャ上の判断だ
      その一部は非常に恣意的に見えることがあり、正しくやり遂げるには深い理解が必要だ。言語のようなトークンだけでは、それを推論できない。物理法則と経験則に対する根本的な理解が重要だ
    • それでも、ここにスタートアップは見えてこない
      何らかのユースケースで LLM がこの分野をうまくこなせるようになるなら、利益を得るのは小さなスタートアップではなく、既存のチップ設計会社だろう
    • 文章を書くことは複雑で、LLM はかつて人間に及ばなかったが、今では平均的な人間レベルなら簡単に置き換えられる。人間にとって魅力的な答えを出すようチューニングされているので、こうした主観的価値のユースケースでは特にそうだ
      チップ設計はあまり似ているようには見えない。専門的に訓練されたツールが役立つケースに近い。汎用 LLM が特定の作業で示した能力は驚くべきものだが、広範なテキストコーパスで学習したモデルが専門ツールを上回るのは、非常に難しそうに見えることもある。最初の段落に戻るが、テキストで学習したモデルがチェスで Stockfish に勝つと思うのは、本当に疑わしくないだろうか？

  • YCは多くの投資家と同じように、AIに対して手当たり次第に投資して祈っている状態です

    • 設計自動化ツールのスタートアップは本当に難しい道を進みます。第一に、顧客がスタートアップの製品を買わず、第二に、買収によるエグジットの可能性がある余地が非常に小さいためです
    • 「さらに大きな愚か者」理論でお金を稼ぐことはできます。成功した売却、つまりエグジットが、必ずしも成功した収益性の高い会社を意味するわけではありません

  • 私が読む限り、特定アルゴリズムのハードウェアアクセラレーションは、汎用プロセッサ上でソフトウェアとして実行する同じアルゴリズムより100倍高速かつ効率的になり得るし、自動化されたチップ設計が難しい問題領域であることも実証されているので、AIを適用してさまざまな作業向けの専用ハードウェアアクセラレータへの参入障壁を下げよう、という意味のように思えます
    AIが人間よりチップ設計を100倍うまくできるという意味ではないと思いますし、彼らの言うエンジニアリング上のトレードオフはこの部分だと見ています。ただ、文言が苦痛なほどぎこちなく営業色が強いので、混乱しても責められません

    • 好意的に読めば、私もそう見ます
      また元記事は、対象となる応用分野は市場が小さすぎて追求する価値がないとしており、要点を外しているように思えます
      それぞれを単独で見れば、企業の時価総額を生み出すほど大きくはありませんが、仮想のAIチップ・スタートアップなら、こうした小さな市場を複数同時に追求できるはずです。ロングテール戦略になるのではないでしょうか？

  • 良い記事ですが、YCの主な原則は、技術が今後も指数関数的に進歩すると仮定し、それが何を可能にするかを考えることです
    彼らの提案は常に、スタートアップがAI版ムーアの法則のような流れに乗ることを前提としており、ハードウェア合成は明白なユースケースです。つまり、2年以内に成功したAIハードウェア合成企業が出てくると仮定し、その曲線の先を行こうとしているのです
    彼らがおそらく間違っているという点には同意しますが、この記事はAI能力の指数関数的な進歩に賭けることがなぜ間違っているのかを実際には説明していません