Darkbloom – 遊休Macを活用した個人向けAI推論ネットワーク

 (darkbloom.dev)
1 ポイント 投稿者 GN⁺ 13 일 전 | 2件のコメント | WhatsAppで共有
  • Darkbloomは、遊休状態のApple Silicon Macを接続して分散型AI推論を行うネットワークであり、中央クラウドなしで個人デバイス上のAI演算を処理
  • 既存のGPU・クラウド・API事業者間の三重マージン構造を排除し、最大70%のコスト削減を達成
  • すべてのリクエストはエンドツーエンドで暗号化され、運営者がユーザーデータを見ることはできず、Appleのセキュアハードウェアに基づく認証チェーンによって信頼性を確保
  • OpenAI互換APIを提供し、チャット、画像生成、音声認識など既存SDKと同じ機能をサポート
  • 運営者は収益の95〜100%を維持でき、遊休Macを通じて電気代以外の追加コストなしでUSD収益を得られる

遊休Macを活用した個人向けAI推論ネットワーク

  • Darkbloomは、Eigen Labsが開発した分散型AI推論ネットワークで、遊休状態のApple Silicon Macを接続してAI演算を実行
  • 現在のAI演算は、GPUメーカー → ハイパースケーラー → APIプロバイダー → 最終ユーザーへと続く3段階のマージン構造を経由しており、Darkbloomはこれを取り除くことで最大70%のコスト削減を実現
  • ネットワーク運営者はユーザーデータを見ることができず、すべてのリクエストはエンドツーエンドで暗号化される
  • APIはOpenAI互換で、既存SDKと同様にチャット・画像生成・音声認識機能をサポート
  • 運営者は収益の95〜100%を維持し、電気代以外の追加コストはほとんどない

ユーザー向け機能

  • 遊休ハードウェアの限界費用がほぼ0であるため、削減されたコストがユーザー価格に直接反映
  • OpenAI互換APIを通じて、チャット、画像生成、音声テキスト変換機能を提供
  • すべてのリクエストはエンドツーエンドで暗号化されて送信

ハードウェア所有者向け機能

  • Apple Silicon Macを保有するユーザーは、遊休時間中にAI推論を実行してUSD収益を得られる
  • 運営者は推論収益の100%を維持し、電気代は1時間あたり$0.01〜$0.03水準
  • 残りの金額は純利益として帰属

AI演算市場の構造的問題

  • 現在のAI演算市場は、GPUメーカー → クラウド事業者 → AI企業 → 最終ユーザーへと続く三重マージン構造
  • その結果、最終ユーザーは実際のシリコンコストの3倍以上を支払っている
  • 一方で、1億台以上のApple Siliconデバイスが1日平均18時間以上遊休状態にある
  • こうした遊休演算資源を接続すれば、AirbnbやUberのように分散型資産活用が可能
  • Darkbloomはこのような遊休MacをAI推論ノードへ転換し、中央集権型インフラを代替

信頼の問題と解決課題

  • 分散型演算ネットワークの中核的な課題は信頼性
  • ユーザーは自身のデータを見知らぬ第三者のデバイスで処理させる必要があるため、単なる利用規約レベルのセキュリティでは不十分
  • **検証可能なプライバシー（Verifiable Privacy）**なしでは分散型推論は不可能

Darkbloomの技術的アプローチ

  • アクセス経路の排除

    • 運営者がデータにアクセスできるあらゆるソフトウェア経路を排除
    • 4つの独立したレイヤーで構成され、それぞれ検証可能

  • 暗号化レイヤー

    • リクエストはユーザーのデバイス上で送信前に暗号化
    • Coordinatorは暗号文だけをルーティングし、対象ノードのハードウェアキーだけが復号可能

  • ハードウェアレイヤー

    • 各ノードはAppleのセキュアハードウェア内で生成されたキーを保有
    • Apple Root CAから連なる**認証チェーン（attestation chain）**によって検証

  • ランタイムレイヤー

    • 推論プロセスはOSレベルでロック処理
    • デバッガ接続とメモリ検査を遮断
    • 運営者は実行中プロセスからデータを抽出できない

  • 出力レイヤー

    • すべての応答は当該ハードウェアの署名で検証可能
    • 完全な認証チェーンが公開され、誰でも独立して検証可能

  • 結果として運営者は推論を実行してもデータは見られない

    • プロンプトは送信前に暗号化
    • Coordinatorは内容を読めないままルーティング
    • Providerは検証済みの隔離環境で復号・実行
    • 認証チェーンは公開され、透明性を確保

実装の詳細

  • OpenAI互換API

    • 既存のOpenAI SDKと完全互換
    • Base URLを変更するだけで同じコードを利用可能
    • Streaming、Function Calling、Image Generation、Speech-to-Textをすべてサポート
    • サポート機能
    • Streaming: SSEベース、OpenAIフォーマット
    • Image Generation: FLUX.2 on Metal
    • Speech-to-Text: Cohere Transcribe
    • Large MoE: 最大239Bパラメータモデルをサポート

コスト比較結果

  • 遊休ハードウェアの限界費用がほぼないため、価格削減効果が発生
  • サブスクリプション料金や最低利用量の制限なし
  • OpenRouter比で50%削減水準
モデル 入力 出力 OpenRouter 削減率
Gemma 4 26B4B $0.03 $0.20 $0.40 50%
Qwen3.5 27B $0.10 $0.78 $1.56 50%
Qwen3.5 122B MoE $0.13 $1.04 $2.08 50%
MiniMax M2.5 239B $0.06 $0.50 $1.00 50%
  • 画像生成: $0.0015/画像（Together.ai比 50%）
  • 音声認識: $0.001/分（AssemblyAI比 50%）
  • プラットフォーム手数料 0%、運営者は収益の100%を維持

運営者の経済性

  • Apple Siliconデバイスを提供すればUSD収益を獲得可能
  • 電気代以外の追加コストなし、収益の100%を維持
  • CLIインストール方式をサポートし、macOSメニューバーアプリは開発中

  • インストール方法

    • ターミナルコマンドでproviderバイナリをダウンロードし、launchdサービスを登録

    • 依存関係なし**、自動更新、**バックグラウンド実行

      • macOS 14以上、Apple Silicon専用

  • 想定収益

    • 1日18時間稼働基準で収益を予測可能
    • 実際の収益はネットワーク需要とモデル人気によって変動

研究とモデルカタログ

  • 研究論文でアーキテクチャ、脅威モデル、セキュリティ分析、経済モデルを詳細に説明
  • ハードウェア検証ベースのプライベート推論アーキテクチャを扱う
  • PDFダウンロードリンク提供

  • 利用可能なモデル

    • Gemma 4 26B: Google最新のマルチモーダルMoE、4Bアクティブパラメータ
    • Qwen3.5 27B: 高品質推論モデル（Claude Opus distillation）
    • Qwen3.5 122B MoE: 10Bアクティブパラメータ、トークン当たり最高品質
    • MiniMax M2.5 239B: SOTAコーディングモデル、Mac Studioで100 tok/s
    • Cohere Transcribe: 2B conformer、最高水準の音声テキスト変換

関連記事

2件のコメント

 
shw00 9 일 전

コンセプトとしては興味深いですが、実際にうまく回るかは疑問ですね。HNの意見にもあったように、両面市場（two-sided market）は両方向で初期顧客の獲得に成功しなければならないので、そこが大きな問題です
 
GN⁺ 13 일 전
Hacker News の意見

  • 私は彼らの収益計算は信じがたいと感じた
    Mac mini 1台が2〜4か月で償却でき、その後毎月1,000〜2,000ドルを稼げるなら、なぜ彼ら自身がMac miniを買って回さないのか疑問だ

    • 計算自体は楽観的な仮定に基づいている。すべてのマシンに常に需要があると仮定しているからだ
      今はそうではないが、いずれそうなると期待している。だから新しい機器を買うのは勧めない。すでにある機器で動かせばコストはほぼない
      電気代はリクエストが入ったときにだけ発生し、そのたびに相殺される
      気になる点があれば@gajeshにDMすればよい
    • Mac miniを自分たちで買い始めると、電力、冷却、保管の問題で結局小規模データセンターを作ることになる
      規模の経済が働いてさらに大きなセンターが欲しくなるが、これはコストがかかるうえ近所迷惑でもある
      結局ハイパースケーラーに対抗する非対称戦争のように見える
    • どのGPUプロバイダーも100%の稼働率は維持していない。需要は波がある
      たとえば株式市場の時間帯は忙しいが、それ以外は暇だ
      過剰にプロビジョニングしなければ顧客は離れ、やりすぎれば収益が減る
      現実的には1/8程度の利用率になりそうだ。自分のM4 Pro miniで計算すると、Gemma 4モデル基準で月24ドル程度に見える
    • 重要なのは初期資本が足りないことだ。たいていの人はすでに遊休コンピュータを持っていて、ソフトウェアをインストールしてもらうよう説得すればよい
      ハードウェアを自前で購入して維持するのははるかに高い。初期投資が最大の参入障壁だ
    • 世の中には遊んでいるMacが多いので、ユーザーベースを集めるのは簡単だ
      VC資金なしでも始められ、差別化も明確だ
      ただし誰かがより高い手数料で同じことを実装するかもしれないので、市場を先に押さえることが重要だ

  • 実際に自分でインストールしてみたが、完成度は高くなかった
    画像モデルのダウンロード失敗、音声/TTSモデルのロード失敗などエラーが多かった
    15分間Gemmaを提供したが、実際の推論リクエストは0件で、ヘルスチェックだけが何度も来ていた
    現時点では需要が不足しており、収益予測は当たっていない

    • リリースからまだ1日しか経っていないので、まだ需要がないのは当然だ。少し時間が必要だ
    • 反対側で実際にプロンプトを送って応答を受け取るテストをした人がいるのか気になる
    • 統計ページを見ると供給者は多いが実際の需要はほとんどない
      今は供給者の確保に集中しているようで、有料顧客の獲得が急務だ
    • 初期だけでも自前でリクエストを発生させてホスティングの動機付けを与えるのかと思ったが、そのような機能はない
    • 私も同じエラーを見たが、ログに「STT backend healthcheck failed」という警告があった。実際に需要があっても、これが原因かもしれない

  • このサービスを使うには**MDM（デバイス管理ソフトウェア）**をインストールしなければならない
    事実上、その瞬間からそのコンピュータは彼らの管理下に置かれる
    銀行業務など機密性の高い作業をするコンピュータには絶対に勧めない

    • macOSのMDMはAccessRightsで権限が制限されているため、SSL証明書の差し替えレベルのアクセスは不可能だ
      しかし彼らのプライバシーポリシーは甘いため、信頼しにくい
    • MDMは絶対に不可だ。自分のMacBookを潜在的な文鎮にするわけにはいかない
      しかも月に数ドル稼ぐためにそのリスクを負う理由がない

  • 彼らは**TEE（Trusted Execution Environment）**を使ってモデルとコードの完全性を検証するとしている
    AWSでも似たことをやっていたが、GPU使用時にメモリ保護が可能なのかは疑問だ
    関連論文はこちらで見られる

    • 論文全体からLLMっぽさが漂う。数式の使いすぎが信頼性を下げている
    • 現実的には外部サーバーにデータを送れば、ある程度のデータ保持は避けられない
      機密データではなく、分類や画像生成のような非商用用途に限って使うのが安全だ
    • Apple SiliconはCPUとGPUがユニファイドメモリを使う
      論文で述べられているハイパーバイザのページテーブル手法は、GPUメモリをRDMAから保護すると主張している
    • MacにはSGXのようなハードウェアTEEはなく、Secure Enclaveがあるだけだ

  • 今日のMacBookでは検証可能なプライバシーは物理的に不可能だ
    Secure Enclaveはあるが、SGX/TDX/SEVのような公開型エンクレーブではない
    結局はOS強化レベルのセキュリティにすぎず、本当の機密実行環境ではない

    • SGX SDKを自作した経験がある。Appleプラットフォームでもある程度近いセキュリティ水準は実現できる
      macOSはブートシーケンスとTCC構成をリモート検証できるなら、かなり信頼できる構造だ
      完璧なSGXほどではないが、使い勝手の面ではより良い
    • 集中型プロバイダー（OpenAIなど）よりも、ランダムに分散したノードのほうがむしろ信頼できると感じる
    • 十分なインセンティブがあれば、どんなハードウェアキーも結局は破られる。彼らの主張は過信に近い

  • 単純計算すると、自分のM5 ProはGemma 4 26B 基準で毎秒130トークン（4ストリーム）を生成する
    Darkbloomの価格はMtokあたり$0.20なので、24時間稼働なら月67ドル程度の収益になる
    電力コストを引くと月9ドル程度なので、年700ドルほどの小遣い稼ぎレベルだ

    • 実際には50Wよりずっと多くの電力を消費する。電気代も高いし、ハードウェアの劣化も早まる
      個人的には収益性よりアイデアのほうが興味深い
    • 彼らの計算はGemma 4 26B基準でtok/sを414としている
      電力計算ではアイドル電力12Wを差し引く小細工を使っているが、ほとんどの人はコンピュータを24時間つけっぱなしにしない
    • 130 tok/sという数値は高く見える。どの**量子化（quantization）**基準なのか気になる
    • ハードウェア故障は考慮されていない。昔GPUでマイニングしていたとき、ファンが1か月で壊れて損をしたことがある
    • OpenAIですら有料顧客は5%しかいないのに、このモデルが持続可能なのか疑問だ
      以前Cubbitのような分散ストレージの試みもあったが失敗した

  • @eigengajesh に伝えたいのは、Mac Mini M4 Proには64GBオプションもあるということだ
    そしていくつものバグがある — metallibのロード失敗、モデルダウンロードの404、ドキュメント内の収益分配（100% vs 95%）の不一致など
    全体としてLLMが書いたような文書が多く、もう少し磨いてから公開したほうがよさそうだ

  • このプロジェクトは、以前学校のコンピュータに展開していたDataseamGridを思い出させる
    似た概念の分散計算ネットワークだった

  • 興味深いコンセプトだ。両面市場（two-sided marketplace）は初期の立ち上げが難しいが、好奇心が原動力になるかもしれない
    供給者だけでなく自分でサービスを使ってみるよう促せば、需給バランスを合わせられそうだ
    企業向けに    セルフホスト版    があるとよい。多くの会社がMacの在庫を持っているので、社内推論ネットワークとして活用できる

  • ハードウェアベースのプライバシーも興味深いが、経済的にはロードコストが大きなリスクだ
    たとえばMiniMax M2.5 239Bモデルは、239Bのうち11Bだけがアクティブでも120GBをロードしなければならない
    SSDからこれを読み込むのに数十秒かかる
    リクエストが別のMacにルーティングされると、毎回コールドロード遅延が発生する
    モデルを常にメモリに保持すれば電力コストが増え、そうでなければ遅延が大きくなる
    特に16GB〜32GBのMacは大規模モデルをそもそもホストできないため、実際に可能な供給者はごく限られる