Qwen3.5モデルの量子化、なぜコミュニティ版は性能が落ちるのか

AIモデルをより小さく高速に圧縮する技術である「量子化（quantization）」において、コミュニティが配布したMLX形式のQwen3.5モデルが、ツール呼び出しエラー、無意味な出力、ハルシネーションを示す原因が技術的に解明された。AIファインチューニングツール企業のUnslothが、150件以上のベンチマーク実験を通じて原因と解決策を提示した内容だ。

要点まとめ

• 量子化とは、モデルの数値データを低精度（ビット数）に圧縮し、ファイルサイズと計算量を減らす技術である
• ほとんどのコミュニティ量子化ツールは、すべてのレイヤーに同じビット数を適用する「一様量子化」を使用している
• Qwen3.5は、一般的な自己注意（self-attention）レイヤーと、GatedDeltaNetという線形アテンションレイヤーが交互に構成されたハイブリッド構造である
• 問題の核心は linear_attn.out_proj レイヤーで、このレイヤーは4ビット圧縮時の情報損失に対する感度が、出力レイヤー（lm_head）に比べて約120倍に達する
• 一様量子化は、重要でない部分に精度を浪費し、肝心の高感度レイヤーを破壊してしまうという構造的な問題を抱えている

Unslothの解決策

• 各レイヤーの実際の感度に応じてビット数を変えて配分する「混合ビット量子化」方式を適用した
• 感度の低いMLPレイヤーは3ビット、アテンションのQ/K/Vレイヤーは5ビットにAWQ（重み補正手法）を適用し、最も敏感な出力レイヤーはbf16の完全精度を維持する
• キャリブレーション（補正）データとしてWikipediaではなく、対話、コーディング、ツール呼び出しの例を用いることで、実使用環境に合った重要度計算が可能になる

長所と短所

• 長所: ツール呼び出し、構造化出力、コード生成の品質が、既存のコミュニティ版と比べて大きく向上する。同一GGUF版と同等の性能をMLXで実現した
• 短所: 一部の高感度レイヤーをbf16で維持する必要があるため、ディスク容量は純粋な低ビットモデルより大きくなる

差別化ポイント

• 既存のコミュニティツールが構造を考慮せず一括圧縮するのに対し、Unslothは150件以上のKLD（情報損失の測定指標）実験と121設定の比較を通じて、レイヤーごとの最適ビット数を科学的に導き出した
• 補正データの質が圧縮品質を左右することを、実証的に示した点も注目に値する

示唆

• AIモデル圧縮は単にビット数を減らすだけの問題ではなく、モデル内部構造を理解する技術が不可欠であることが改めて確認された
• コミュニティで配布される軽量化モデルを実務で使う際には、配布者の量子化手法と補正データを必ず確認すべきだという実践的な教訓を残している

[iiiiiiiiiiiii]

実際、それほど重要ではないレイヤーは思い切って圧縮しても損失はあまり発生しません。いくつかのレイヤーでは、2bit量子化をしても目立った損失はありません。
しかし、コミュニティモデルはすべてのレイヤーを一括で量子化してしまうので、そこで問題が発生するのです。

[jeeeyul]

それはモデルの次元とレイヤーが均等に焼かれていないからです。いつものことですが。

[ryj0902]

わあ……！

[mammal]

Unslothの創業者Daniel Hanは本当に天才だと思います。オープンウェイトモデルが出るたびに、モデル構造からトークナイジングのバグ、量子化エラー、テンプレートのエラーまで分析して共有してくれるので、本当に感嘆します。