Microsoft、CPUで実行可能な超高効率AIモデル BitNet を開発

 (techcrunch.com)
13 ポイント 投稿者 GN⁺ 2025-04-18 | 4件のコメント | WhatsAppで共有
  • Microsoftの研究チームが BitNet b1.58 2B4T という 超高効率なAIモデル を開発
  • 1ビット量子化 により 高速化と低メモリ使用を実現 し、CPU でも実行可能で、MITライセンス で公開
  • Apple M2のようなCPUでも実行でき、GPUなしで動作
  • 20億個のパラメータ を持つ BitNet b1.58 2B4T は、Meta、Google、Alibabaのモデル より優れた性能を示す
  • ただし、Microsoftの bitnet.cpp フレームワーク を使う必要があり、GPU との互換性の問題は依然として残る

Microsoftの超軽量1ビットAIモデル BitNet b1.58 2B4T

超軽量モデル BitNet の概要

  • BitNet は 1ビット量子化 を適用したAIモデルで、パラメータを -1、0、1 の3つの値だけで表現
  • 従来の量子化モデルは一般的に8ビットまたは4ビットで表現されるが、BitNetは1ビット בלבדを使うことで 圧倒的なメモリ効率 を実現
  • この方式は 低スペックなハードウェア、特に GPUのないCPU環境 で大きな利点を持つ

BitNet b1.58 2B4T の特徴

  • パラメータ数: 20億
  • 学習データ: 4兆トークン（約3,300万冊分の書籍に相当）
  • MITライセンスで オープンソース公開
  • Apple M2 CPUのような汎用CPUでも動作可能

性能比較とベンチマーク結果

  • BitNet b1.58 2B4T は、以下のモデルより一部ベンチマークで優れた性能を示した:
    • Meta Llama 3.2 1B
    • Google Gemma 3 1B
    • Alibaba Qwen 2.5 1.5B
  • 使用された主なベンチマーク:
    • GSM8K: 小学校レベルの数学問題を評価
    • PIQA: 物理的常識推論能力を評価
  • 一部テストでは最大2倍の速度 を示し、メモリ使用量も大幅に少ない

制限事項と互換性の問題

  • BitNet の性能は Microsoftの専用フレームワーク bitnet.cpp に依存
  • bitnet.cpp は現在 特定のCPUのみをサポート し、GPUは未対応
  • このため、AIインフラの標準であるGPU環境との互換性不足 が欠点として指摘されている

関連記事

4件のコメント

 
cartwheel8815 2025-04-21

> BitNetは1ビット量子化を適用したAIモデルで、-1、0、1の3つの値だけを使ってパラメータを表現する。

値が3つあるのに1ビット？と不思議に思ってHNのコメントを少し見てみたところ、

> https://compilade.net/blog/ternary-packing

1バイトあたり2つの値を表す8ビットではなく、3つの値を表す5つの三進数桁として扱うため、厳密には1ビットモデルではなく、log(3) / log(2) = 1.5849...ビットモデルですね。モデル名にb1.58が含まれているのを見ると、これで合っているようです。
 
cartwheel8815 2025-04-21

4行目の 2億個のパラメータを → 20億個のパラメータを に修正が必要ですね。
 
GN⁺ 2025-04-18
Hacker Newsの意見
  • MicrosoftのBitNetは、FP16やBF16のような精度を持つTransformer LLMと同じモデルサイズ・学習トークン数を使いながら、レイテンシ、メモリ、スループット、エネルギー消費の面でコスト効率が高い
    • GitHubのリンクとarXiv論文から、より多くの情報を得られる
  • AIモデルの「パラメータ数」は、AIモデルにおける「GHz」のようなもの
    • 比較されたすべてのモデルは10〜20億個のパラメータを持っているが、実際のサイズは10倍以上違うことがある
  • ほとんどの無料LLMはCPUで実行可能
    • このモデルはCPU上で実用的な速度で動作するという主張
    • GPUでの実行速度がわからないため、この主張の正確さには確信が持てない
  • BitNet b1.58 2B4Tモデルは、同じサイズの他モデルより高速で、メモリ使用量も少ない
    • モデルサイズは1GB以上で、現代的なCPUでもうまく動く1〜2GBのモデルは多い
  • NVidiaはCUDAを通じてソフトウェアレベルのロックインを急いでいる
    • そうしなければ、株価がZoomのような道をたどる可能性がある
  • 「1-bit」と呼んでいるが、実際には{-1, 0, 1}を使っている
    • この点は混乱を招くかもしれない
  • より大きなモデルをBitNetへ蒸留できるライブラリがあるのか気になる
  • MITライセンスの下で公開されており、AppleのM2を含むCPUで実行可能
    • M2はすでに7GBまたは13GBのLLaMAやMistralモデルを容易に実行できる
  • MシリーズとMacBookが広く普及しているため、平均的なCPU（i3やi5）がどれほど非力かを忘れているかもしれない
  • 価格競争は今後も底へ向かって続くだろう
  • 1年以上前の技術だが、まだ誰もがこの技術へ移行したわけではない
    • 理由を見てみると、この技術は実際に各種指標へ影響を与え、その影響の大きさは指標によって異なる
    • 万能の解決策ではない
 
cartwheel8815 2025-04-21

4行目の비교된 모든 모델은 1-2억 개의 → 비교된 모든 모델은 10-20억 개의
AIの billion の翻訳がおかしいですね。