Bonsai 27B — スマートフォンで動作する27B級モデル

 (prismml.com)
4 ポイント 投稿者 GN⁺ 4 시간 전 | 1件のコメント | WhatsAppで共有
  • 従来の27Bモデルは4ビットに縮小しても18GBに達しますが、PrismMLはQwen3.6 27Bをベースに、推論・ツール呼び出し・ビジョン・コンピューター操作をサポートするBonsai 27BをiPhoneのメモリ上限に収まるようにしました
  • 品質重視のTernaryモデルは重みあたり1.71ビットで5.9GB、容量重視の1-bitモデルは1.125ビットで3.9GBであり、言語ネットワーク全体に低ビット表現を適用しています
  • 思考モードの15のベンチマークで、Ternaryモデルは完全精度基準の性能の95%、1-bitモデルは**90%**を維持し、総合スコアはそれぞれ80.5点と76.1点です
  • NVIDIA GeForce RTX 5090で最大163 tok/s、M5 Maxで最大87 tok/sを記録し、262Kトークンのコンテキスト、4ビットのビジョンタワー、投機的デコーディングをサポートします
  • ローカル実行により、反復的なエージェント作業におけるステップごとのAPIコストとデータ転送をなくし、機密性の高い作業はデバイス上で処理して、難しいステップだけをクラウドに送るハイブリッドデプロイが可能になります

27B級モデルをスマートフォンに入れる方法

  • 従来の27Bモデルは16ビット精度で約54GB、一般的な4ビットビルドでも18GBを占有し、スマートフォンや大半のノートPCにローカルで配布するのは困難です
  • Qwen3.6 27BベースのBonsai 27Bは、多段階推論、構造化されたツール呼び出し、ビジョン作業に加え、複数のステップで一貫性を保つコンピューター使用エージェントループをサポートします
  • 2つの低ビット構成は、異なるデプロイ環境を想定しています
    • Ternary Bonsai 27Bは{−1, 0, +1}の重みとFP16のグループ別スケーリングを使い、重みあたり実効1.71ビット、5.9GBのサイズを実現しています
    • ノートPC級の品質を目標とし、推論・ツール呼び出し・エージェント機能をすべて提供します
    • 1-bit Bonsai 27Bは{−1, +1}の重みと同じグループ別スケーリングを使い、重みあたり実効1.125ビット、3.9GBのサイズを実現しています
    • iPhone 17 Proのメモリ予算内に収まるスマートフォン級の容量に重点を置いています

エンドツーエンドの低ビット・マルチモーダル構成

  • 低ビット表現は、埋め込み、アテンション、MLP、LM headを含む言語ネットワーク全体に適用され、一部の区間をより高い精度で迂回することはありません
  • どちらのモデルもマルチモーダルで、ビジョンタワーは圧縮された4ビット形式で提供されるため、スクリーンショット・文書・カメラ入力をデバイス上で処理できます
  • 最大262Kトークンのコンテキストをサポートします
  • 下書きを生成した後に検証するロスレスな高速化手法である投機的デコーディングを利用できます
  • モデルの重みはApache 2.0 Licenseで提供されます

15のベンチマークで維持した性能

  • モデルの推論能力全体を使う思考モードで、知識、推論、数学、コーディング、指示追従、ツール呼び出し、ビジョンを網羅する15のベンチマークを評価しました
  • 完全精度のQwen3.6 27Bの総合スコアは85.0点で、Ternary Bonsai 27Bは80.5点、1-bit Bonsai 27Bは76.1点を記録しました
    • Ternaryモデルは完全精度基準の性能の**95%**を維持しています
    • 1-bitモデルは基準性能の**90%**を維持しています
  • 分野別スコアは次のとおりです
    • 数学 — GSM8K、MATH-500、AIME25、AIME26: 完全精度 95.3、Ternary 93.4、1-bit 91.7
    • コーディング — HumanEval+、MBPP+、LiveCodeBench: 完全精度 88.7、Ternary 86.0、1-bit 81.9
    • エージェント・ツール呼び出し — BFCL v3、TauBench: 完全精度 80.0、Ternary 74.0、1-bit 66.0
    • 指示追従 — IFEval、IFBench: 完全精度 78.4、Ternary 71.8、1-bit 65.8
    • 知識・STEM — MMLU-Redux、MuSR: 完全精度 83.1、Ternary 77.0、1-bit 73.4
    • ビジョン — MMMU Pro、OCRBench: 完全精度 72.6、Ternary 65.2、1-bit 59.6
  • 数学とコーディングでは性能低下が比較的小さく、Ternaryモデルのツール呼び出し性能も完全精度に近い水準を維持しています
  • 同じ基盤モデルに適用した最も攻めた一般的な低ビットビルドは、1-bit Bonsai 27Bよりメモリを2.5倍多く使いながら、より低いスコアでした

ギガバイトあたりの知能密度

  • 1-bit Bonsai 27Bは、完全精度の2Bモデルより小さい容量で27B級の性能を提供します
  • PrismMLが1-bit Bonsai 8Bで導入した知能密度の基準で、1-bit Bonsai 27BはGBあたり0.53を記録しています
    • 完全精度基準より10倍以上高い値です
    • 利用可能な最上位の低ビット代替より約2.7倍高い値です
  • この区分では、モデルの絶対的な能力が実行できる作業を決め、知能密度がその作業を実行できるデバイスと環境を左右します

持続型エージェント作業をローカルへ移す

  • AI作業は単一の応答から離れ、実際のツールを使うアシスタント、無人ワークフロー、数十件の文書を統合するリサーチのような持続的な作業へ移行しています
  • エージェントはモデルを一度ではなく数百回呼び出し、各ステップでコンテキストを渡し、構造化された出力を作成して次のステップの入力として使います
  • クラウドAPIは今でも多くの製品に適していますが、エージェント作業をクラウドだけで実行すると構造的な制約が生じます
    • すべてのステップがリモートリクエストとして処理されます
    • 反復のたびにトークンコストが累積します
    • 計画、ツール呼び出し、中間結果だけでなく、ユーザーの個人ファイル・画面・データまでネットワークを通過します
  • デバイス上で十分な能力を持つモデルを実行できれば、エージェントを製品内部に置くことができます
    • 100ステップのループでも追加のモデル呼び出しコストは発生しません
    • ユーザーデータがデバイスを離れません
    • 持続型のオンデバイスエージェント、オフラインアシスタント、ローカルの非公開データを直接処理するアシスタントを実装できます
  • 機密性が高い、またはフロンティア級の性能を必要としない作業はローカルモデルに送り、最も難しいステップだけをクラウドモデルに任せるハイブリッドアーキテクチャにより、エージェントシステムの作業あたりコストを下げられます

実行速度とスマートフォンのメモリ制約

  • NVIDIA GeForce RTX 5090で測定した最大生成速度は次のとおりです
    • 1-bitモデル: 163 tok/s
    • Ternaryモデル: 134 tok/s
  • M5 Maxで測定した最大生成速度は次のとおりです
    • 1-bitモデル: 87 tok/s
    • Ternaryモデル: 58 tok/s
  • スマートフォンアプリはデバイスの全メモリを使用できず、12GBのiPhoneでもモデルが使えるメモリは約6GBです
  • この予算にはモデル重みだけでなくKVキャッシュとアクティベーションも含める必要があるため、保存ファイルのサイズを減らすだけでは十分ではありません
  • 約4GBの1-bit Bonsai 27Bは、作業に必要な余裕を残しながらこのメモリ上限を満たします
  • iPhone 17 Pro Maxのマルチモーダルエージェントデモは、キャッシュと事前入力された画像コンテキストを使うデモモードで実行されます

対応プラットフォームとデプロイ方式

  • AppleデバイスではMLXを通じてMac、iPhone、iPadでネイティブに実行します
  • NVIDIA GPUではCUDAを使用します
  • どちらのプラットフォームも、ハイブリッドアテンションアーキテクチャに合わせて作成したカスタム低ビットカーネルを活用します
  • 限定期間、開発者がモデルを試せる無料の開発者プレビューAPIを提供します
  • 圧縮・評価・ベンチマークの全技術詳細はBonsai 27Bホワイトペーパーで確認できます

より大きなモデルと新しいアーキテクチャ

  • Bonsai 27Bは、思考、マルチモーダル理解、ビジョン、ツール使用を含む現代的なモデルの機能を、一般ユーザーが所有するデバイスで実行できるサイズに縮小します
  • 圧縮手法は特定のアーキテクチャに依存しておらず、PrismMLはより大きなモデルと新しいアーキテクチャを開発中です
  • 知能密度が高まるほど、高度なAIを実行できるデバイス・製品・環境の範囲が、スマートフォンから単一GPUサーバーまで広がります

関連記事

1件のコメント

 
GN⁺ 4 시간 전
Hacker Newsの意見

  • いちばん比較してみたい相手は Gemma 4 12Bの4ビットQAT版。7GBに満たずこのモデルより少し大きい程度で、たいていの最近のデバイスで動作し、サイズの割に驚くほど賢い
    ツール活用能力が高く、ビジョン性能もサイズに比べて素晴らしい。精度を1段階ずつ落としたときにどれだけ性能が失われるのかはまだ把握中だが、GoogleのQAT版は4ビットでも損失が 非常に少ない ことを示しているように見える

    • 公開されている数値をGemmaの結果と突き合わせると、このモデルは 数学とコーディング でGemma 4 12Bを大きく上回る一方、知識とツール呼び出しではやや劣り、ビジョンタスクではかなり見劣りする
    • Gemma 4 12Bの 1ビット二値版 も作ってほしい ;)
    • 多くのモデル系列では 4ビットが境界線 だが、重み・重みと活性値・KVキャッシュのうち何を4ビットに量子化するかで変わる。モデルサイズやタスクにも左右されるので、量子化には思った以上に微妙な点が多い
      2024年に出た良い評価資料は https://arxiv.org/pdf/2402.18158。自分は原著者ではないが現在改訂版を準備しており、まだ本格的な文献調査をしていないので、似た調査資料を知っている人がいれば気になる

  • 投資家の観点では本当の パラダイムシフト。プライバシーを売りにして大規模ホスティングモデルを包んで提供していた欧州のスタートアップは大量に消えるかもしれない
    すべてをノートPCで直接動かせるなら、Privacy GPT™ のような企業を使う理由はまったくない。銀行やその他の規制産業もこの程度の知能を セルフホスト できるため、そうした企業に依存する必要がなくなる

  • 理解するのに助けがほしい。ここでの要点は、量子化によって50GBを4GBに縮めつつパレート最適域の中で知能の大半を保ったこと、そして他の量子化モデルとサイズ当たりの知能を比較したことだと理解した。ただ、他の小型モデルでも問題になる ツール呼び出し性能 が最も大きく損なわれているように見える
    このモデルは最近の他の4GBモデルと比べてどうなのか？ 親モデルの知能を本当に保持しているのか、それともベンチマーク向けに微調整したのかは、どうすれば分かるのか？
    けなしたいわけではなく、本当に驚くべき結果であってほしいのだが、限られた知識で見ると公正な比較グラフが欠けており、既存のグラフも誤解を招きかねないように見える。自分の理解違いがあるなら説明してほしい

    • PrismMLは、よくあるようにFP16で学習したモデルのビットを削ってVRAMを減らす量子化をするのではなく、最初から 1ビット重みで学習 していると理解している
      記事にもっと詳しく書かれており、1ビット重み128個のブロックごとにFP16重みを1つ置く、といった手法でより多くの情報を持たせている

  • AppleがPrismMLと 交渉中 とのこと: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

    • これはPrismMLのCEOであるBabak HassibiがCNBCに直接話した内容なので、嘘か、あるいは交渉の話を漏らして 関係成立の可能性 を自分で潰したのかもしれない

  • 細かい揚げ足取りかもしれないが、デモでモデルが提案した料理はあまりおいしそうに見えず、マクロ栄養素計算 も完全に間違っているようだ。『スパゲティ、ニンジン、ピーマン、ニンニク、ハーブ』でタンパク質25gだって？

    • 良いスパゲティはタンパク質比率が 15%、つまり100gあたり15gで、最も低品質な製品でも100gあたり12gは入っている
    • 個人的にはニンジンはあまり好きではないが、まずそうには見えない。トマトソースがあればずっと良くなるだろうが、提示された画像には選択肢としてなかったようだ
      タンパク質25gというのはヒヨコ豆のような 高タンパクパスタ を想定したのかもしれないが、たしかに間違った数値に見える
    • スパゲティ 200gには実際にタンパク質が約25g 含まれている
    • なぜこんな平凡な質問をスマホのAIで処理しなければならないのか分からない。こういう用途にはAIどころかローカルAIすら不要で、昔から基本的なGoogle検索で十分だった
      スマホサイズのAIが役立つには、AIにしかできない作業 を処理すべきだ。スマホのカメラでスキャンした文書を受け取れるのか？ リアルタイム翻訳はできるのか？ レシピの助言はすでに他の手段で飽和していて、わざわざ尋ねる理由がない

  • モデルは Hugging Face の https://huggingface.co/prism-ml/models に公開されている
    LM Studio で GGUF と MLX モデルをそれぞれ試したが、どちらも動作しなかった。LM Studio 側でまず llama.cpp か MLX エンジンをアップグレードする必要があるのかもしれないが、実行に成功した人がいるのか気になる

    • 以前のモデルは PrismML の llama.cpp カスタムフォークである https://github.com/PrismML-Eng/llama.cpp で実行した。今回のモデルはまだ試していないが、今週中に時間を取ってベンチマークする予定
      メインラインの llama.cpp にも Metal と CPU バックエンド向けのパッチが入ったとのことなので、Mac や十分に高速な CPU とメモリがあれば、最新の llama.cpp だけでも動きそう
    • 実行しようとするモデルによっては カスタムフォークが必要かもしれず、詳細は https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README.... にある
    • PrismML の llama.cpp フォークを LM Studio 内で実行する方法があるのかは分からない
      フォーク自体は問題なく動くが、簡単なテストのひとつでモデルが 推論ループにひどく陥った。推論強度を高く設定したときに起きるのと同じ問題かもしれない
      M1 Max では、依然として MoE Qwen 3.6 と Gemma 4 が最良の選択に見える。35B が実際にはより悪いという主張にも確信が持てず、自分の利用環境では 27B より推論ループにずっと陥りにくい
    • LM Studio で公式モデルを 2 つ受け取ったが、どちらも 3.6GB で、いずれも読み込めなかった
    • Unsloth でも動かなかったが、次のアップデート一式が出れば 1日か2日で修正される可能性が高い

  • すごい！ 1年以上 三値モデルのスケール拡張を待っていた[1]。通常の Qwen 27B はローカルハードウェアでそこそこの速度で動かすには重すぎるので、自分で試せるのが楽しみ
    [1] https://jackson.dev/post/dont-sleep-on-bitnet/

    • 自分も同じ。16GB ノートPCで実用になるかもしれないモデルなので期待している

  • 1ビットモデルで性能の 90% を達成したのは、まず驚異的な結果だ
    だが、この 2 週間だけでこれがもう 5 件目の製品発表で、どれも AI の使い方を変えると言い、それぞれのトレードオフが完全な答えだと宣言している。パラダイムシフトは製品リリースの発表文で起こるものではない
    あらゆるリリース記事をパラダイムシフトのように聞こえさせるのは、一種の AI 特有の文体なのではないかと思う

    • どんな技術発表も同じだ。現実とは無関係に、マーケターはマーケティングをするだけ

  • 全文脈長でも KV キャッシュのメモリ使用量が驚くほど少ないように見える。そのおかげで、マルチエージェントのコーディングワークフローに特に有用かもしれない
    新モデルの発表やデモでは、KV キャッシュのメモリ使用量と関連する最適化をもっと明確に扱ってほしい

    • KV キャッシュを量子化すると アテンションと想起性能が悪化し、その影響で長文タスクも損なわれる。モデル系列やサイズごとに各部分が量子化にどの程度耐えられるかが異なり、目標タスクによっても変わる

  • 今日知ったこと: 1ビットモデルは実際には +1, 0, -1 の 3 値を使う 1.58ビットモデル だった

    • ここには 2 つのバリエーションがある。冗談めかして言えば、ビットの値をかなり大きく取ったということだ
      Ternary Bonsai 27B は三値 {-1, 0, +1} 重みと FP16 のグループ単位スケーリングを使っており、重みあたりの実効ビット数は 1.71ビット。1-bit Bonsai 27B は二値 {-1, +1} 重みと同じグループ単位スケーリングを使っており、重みあたりの実効ビット数は 1.125ビット
    • 3 状態の数字を 5 つ 1 バイトに詰め込む最も実用的な方式で計算すると 1.6ビット。ただし実際には通常、4 状態の数字を 4 つまとめる
    • 最初の「1ビット」モデルから始まった少し残念な慣例だ。ただし Bonsai には 三値版と本当の 1 ビット版の両方がある