Jim Keller率いるTenstorrent、GPUに対抗するRISC-VベースのGrayskullを公開

 (techradar.com)
10 ポイント 投稿者 GN⁺ 2024-03-11 | 2件のコメント | WhatsAppで共有
  • Tenstorrentは、AMDのZenアーキテクチャとテスラの自動運転チップを設計した著名なチップ設計者Jim Kellerが率いる企業
  • RISC-VベースのGPU代替となるGrayskullを発売。プログラミングと拡張がしやすく、実行時のスパース性と条件付き計算の処理に優れる
  • Grayskull e75とGrayskull e150の2種類の開発キットを披露。AI開発向けの推論専用ハードウェアで、TT-BudaとTT-Metaliumソフトウェアを提供
  • Tenstorrentは日本の先進的な半導体技術センター（LSTC）とパートナーシップを締結
  • TenstorrentのRISC-VおよびチップレットIPを使い、最先端の2nm AIアクセラレータを構築する予定

Grayskullの実力！

  • Grayskull e75モデルは、75Wで動作するロープロファイル、ハーフレングスのPCIe Gen 4ボードに単一のGrayskullプロセッサを搭載
  • Grayskull e150モデルは、最大200Wで動作する標準ハイト、3/4レングスのPCIe Gen 4ボードにGrayskullプロセッサを搭載し、電力とスループットのバランスを提供

TenstorrentプロセッサとDevKits

  • Tenstorrentプロセッサは、Tensixコアと呼ばれるコアグリッドで構成され、DRAMを介さずネットワーク経由で相互に直接通信できるネットワーク通信ハードウェアを備える
  • Grayskull DevKitsは、自然言語処理向けのBERT、画像認識向けのResNet、音声認識と翻訳向けの Whisper、リアルタイム物体検出向けのYOLOv5、画像分割向けのU-Netなど、さまざまなモデルをサポート
  • Grayskull e75とe150 DevKitsは、それぞれ599ドルと799ドルで購入可能

GN⁺の見解

  • TenstorrentのGrayskullは、従来型GPUに対するRISC-Vベースの代替として、AI開発者に新たな選択肢を提供し、業界の多様性を高める可能性がある
  • Grayskullが実行時のスパース性と条件付き計算処理に特化している点は、AIモデルの効率と性能を向上させる潜在力を持つ
  • この技術を導入する際には、既存の開発環境との互換性、エコシステムの支援、そして長期的な性能とコスト効率を考慮する必要がある
  • 類似機能を提供する業界の他製品としてはNVIDIAのGPUやGoogleのTPUがあるが、GrayskullはRISC-Vアーキテクチャベースである点で差別化されている
  • Grayskullの成功は、オープンソースハードウェアエコシステムの成長と革新を促進し、技術の民主化とアクセシビリティ向上に寄与する可能性がある

関連記事

2件のコメント

 
ryudaewan 2024-03-12

ジム・ケラーはヒーマンのファンみたいですね。 https://youtu.be/V8h8snfYidg?feature=shared
 
GN⁺ 2024-03-11
Hacker Newsの意見

  • Grayskull開発キットの概要:

    • Grayskull e75: 消費電力75W、96 Tensixコア、1GHzクロック速度、96MB SRAM、8GB LPDDR4メモリ (102.4 GB/s)、価格$599
    • Grayskull e150: 消費電力200W、120 Tensixコア、1.2GHzクロック速度、120MB SRAM、8GB LPDDR4メモリ (118.4 GB/s)、価格$799
    • これらの製品の推論性能がグラフィックカードと比べてどうなのか、ホームラボに適しているのかに関心が集まる。
    • 製品のプレビュー版アンボクシングインタビューはあるが、性能値は示されていない。

  • アーキテクチャに関する意見:

    • Jim Kellerの参加で注目を集めているが、CPU/ASIC設計の知識がない人にはアーキテクチャがやや「奇妙」に見える。
    • コアグリッドとメモリ、インターフェースが混在しており、ネットワーク接続されたトポロジーの説明を求めている。

  • アーキテクチャの動作方式に関する説明:

    • Tensixコアと共有メモリで構成される基本システム。
    • 各Tensixコアには、テンソル演算を行う高密度テンソル数学ユニット(FPU)、SIMDエンジン(SFPU)、5つの Risc-V CPUコア、大容量ローカルメモリストレージが含まれる。
    • コアは2つの逆方向に進むドーナツ状のリングで接続されている。
    • RISC-VコアはFPU、SFPUを制御し、データの準備や移動に使われる。
    • SFPUはRISC-Vコア上で動かせる、より汎用的なSIMTエンジンである。
    • SFPUシミュレータはGitHubで試すことができ、プログラミングモデルは低レベルカーネルの例で確認できる。
    • Grayskull SFPUは64個の19ビット値を格納できる4つの汎用LRegsを持ち、Wormholeは32個の32ビット値を格納できる8つの汎用LRegsを持つ。
    • Wormhole SFPUはGrayskullと比べて約3倍のIPC向上と、いくつかの新しいSFPU命令を備える。
    • ドキュメントを確認し、GitHubリポジトリを見ればさらに多くの情報を得られる。

  • モデル選択への疑問:

    • BERT、ResNet、Whisper、YOLOv5、U-Netなどのモデルから始める理由に疑問を呈している。
    • 電力効率を狙っているのだろうと推測されるが、完全には一致しない。

  • システム要件に関する質問:

    • ホストシステムに64GB RAMが必要な理由に疑問を呈している。
    • 推論サーバーは推論ハードウェア以外は最小構成であるべきではないかとしている。

  • 他社のカスタムシリコンとの比較:

    • AWS、Google、Teslaのカスタムシリコンと、この種のプロセッサをどう比較すべきかに関心を示している。

  • アーキテクチャの類似性:

    • IntelのProject Larrabee GPUが実現しようとしていた方式に似ていると感じられ、ただしRISC-Vを使っている点が異なる。

  • 推論専用ソリューションへの失望:

    • Groq、Tenstorrentなど有望なスタートアップが推論専用ソリューションを提供していることにうんざりしていると述べている。
    • Groq公式チャンネルを通じて、トレーニングを可能にする開発に投資する計画はないという情報を得た。
    • 推論需要がトレーニング需要より数百万倍多い可能性があるため理解はできるが、それでも失望を感じている。

  • Grayskull™ e150のRISC-Vコア数:

    • Grayskull™ e150は120個のTensixコアを持ち、それぞれが5個のRISC-Vコアを含むため、合計600個のRISC-V CPUコアを持つ。

  • 性能とアーキテクチャに関する情報不足:

    • 性能やアーキテクチャに関する詳細情報を見つけられない。
    • ML中心のデバイスとしてはメモリ帯域幅が非常に低く、価格は非常に高い。
    • 何か見落としているのではないかという疑問を呈している。