1 ポイント 投稿者 GN⁺ 2024-05-06 | 1件のコメント | WhatsAppで共有

GPU Marketplace

  • GPU Deployは、機械学習とAI向けの低価格なオンデマンドGPUサービスを提供します。
  • 機械学習のワークロード用に事前に設定されているため、すぐにGPUインスタンスを起動できます。

提供されるGPU仕様と価格

  • Nvidia H100、A100、GeForce RTX 4090/3060、Quadro RTX 6000など、さまざまなGPUモデルをサポートします。
  • GPU RAMは11GBから640GBまで幅広く提供されています。
  • CUDAコア数は3,584個から116,736個まで幅広く設定されています。
  • vCPUは16個から242個まで選択可能です。
  • 時間単価は$0.06から$26.55まで(税抜き、実際の料金は通常もっと安い)

アイドルGPU活用の提案

  • アイドルGPUがある場合、GPU Deployを通じてコンピューティングリソースを提供できます。
    • GPUクラスター運営者であれば、アイドルのコンピューティングリソースを貸し出せます。
    • AI企業であれば、アイドルのコンピューティングリソースを貸し出せます。
    • 個人がGPUを保有していても参加可能です。

GN⁺の意見

  • オンデマンドGPU利用料は非常に高いことが多いため、このサービスを活用すればGPUが必要なときに低コストで利用でき、魅力的です。
  • ただし、長期的に使用する場合は、直接GPUサーバーを構築する方がはるかに経済的な場合があります。
  • 個人や中小企業がGPUリソースを活用する手段としては、悪くない選択肢になり得ます。
  • 企業の立場では、GPUサーバー構築コストと運用コストなどを勘案し、中長期的な観点から導入を検討する価値があります。
  • 類似のGPU提供サービスとしてはAWS、GCP、MS Azureなどがあり、サービスごとに提供されるGPU仕様と価格ポリシーを綿密に比較する必要があります。
  • アイドルGPU活用は興味深い提案ではありますが、セキュリティやリソース管理の観点で懸念される点がある可能性があります

1件のコメント

 
GN⁺ 2024-05-06
Hacker Newsのコメント
  • サードパーティにGPUリソースを提供する際に考慮すべきこと:
    • プライバシーの問題 - 攻撃者がGPUハニーポットを設置し、データを収集できる
    • 偽物GPUの計算 - 攻撃者が計算量を減らすために偽GPUを使い、ダミーデータを送信できる
    • 故障したGPU - 悪意がない場合でも、故障したGPUから誤った結果が出る可能性がある
  • サービス利用規約とプライバシーポリシーへの同意が必要だが、リンク先が空ページになるのは珍しい
  • コンセプト自体は優れている。Vast.aiに似た「GPU向けAirbnb」というコンセプトだが、このサービスがどこが違って、より良いのか気になる
  • 「GPU向けAirbnb」よりも「オンデマンドGPUプロビジョニング」のほうが理解しやすいと思う
  • 良いアイデア!幸運を祈る!Akash Networkという暗号化プロジェクトは印象的で、需要と合法的なユースケースがある
  • Stability AIがハードウェアを過剰にプロビジョニングした、という話はよくわからない。AIの過剰プロモーションに目が眩んでいるようだ
  • 素晴らしいアイデアです!プロバイダのセキュリティ保証はどうなっていますか?GPUクラスターをレンタルする際、借り手にどのようなアクセス権を与えるべきでしょうか?GPUカーネルだけが送信されるのでしょうか、それとも制限付きのユーザーアクセス権も付与されますか?運営者がルーターポートを開けなくてもスムーズに使うために、プライベートネットワークへの追加も検討しましたか?
  • 価格を知りたいならGPUMonger.comを見てください。このサービスはもっと深くて本物のサービスのように見えるが、単に価格比較したいだけならGPUMongerのほうがよさそうです。
  • ハードウェア問題へのソフトウェアソリューションとして、こうした会社が次々と生まれている。ほとんどの利用可能コンピューティングパワーがすでに割り当てられているようなので、さらに多くのプロバイダを確保すべきだろう。なぜY Combinatorが類似会社に重複投資するのか疑問だ。Shadeform.aiもまた別の例。
  • いくつかの意見:
    • インストールスクリプトのソースを見るとset -eで始まらないため、不完全なインストールが発生する可能性がある
    • "instance-server"というバイナリをインストールするんですが、何をしているのか分からない。自分のサーバ/ネットワークでこれを信頼できるのでしょうか?
    • Nvidia専用なので、当面AMD GPUはサポートされないようだ
    • MVPのような印象。時間が経つのを見ることができればどのように成長するか分かるだろう。
  • RTX 4090がアイドル状態なら、どれくらいの収入になるのでしょうか?