Kimi K3 ローカル実行ガイド

Moonshot AI の Kimi K3 は、総 2.8T・アクティブ 104B パラメータ、ネイティブビジョン、100万トークンのコンテキストを備えたオープンウェイトモデルで、Unsloth がローカル実行向けの GGUF 量子化を提供
フル精度推論には 1.56TB が必要だが、Dynamic 1-bit UD-IQ1_S は 594GB で約 78.9% の Top-1 精度を、861.3GB の 2-bit UD-Q2_K_XL は約 90% を記録
Kimi K3 は思考トレースを保持する thinking-only モデルで Instant モードはサポートせず、reasoning_effort で "low"、"high""、"max" を選択し、最大 1,048,576 トークンを処理
Unsloth Studio は RAM オフロードとマルチ GPU 検出を自動化し、ビジョン機能を使う llama.cpp 実行には Kimi K3 向けの Unsloth フォークが必要
推奨の UD-IQ1_S 実行には最低 610GB RAM が必要で、基本的に RAM+VRAM を量子化ファイルサイズ分 確保する必要があり、不足するとディスクオフロードにより大幅に遅くなる

モデルの特徴とローカル実行要件

Moonshot AI の Kimi K3 は、コーディング、エージェント、長文コンテキスト、チャットを対象にした 2.8T パラメータのオープンウェイトモデルで、推論時には 104B パラメータをアクティブ化する
ネイティブビジョンと 100万トークンのコンテキストウィンドウ をサポートし、MoE 重みに MXFP4 を使用
フル精度推論には 1.56TB のストレージ容量が必要
Kimi-K3-GGUF は Unsloth Studio または llama.cpp で実行できる
NVIDIA DGX Station や 128GB RAM デバイスに接続した Mac Studio でも実行可能
ハードウェア要件は RAM と VRAM、またはユニファイドメモリの合計で計算し、構成範囲は 610GB〜1.6TB

GGUF 実装方式

llama.cpp PR をベースに実装し、Unsloth フォークがビジョン対応とバグ修正を追加
ビジョンタワーは Kimi K2.5 に似ているが、以下の違いがある
- RMSNorm を使用し、bias がない
- 融合 QKV が非正方形で qkv width != n_embd
- projector の後ろに正規化を適用
大きなバッチで n_tokens * 40 の予算が失敗したため、n_tokens * 160 に増やした
Kimi チャットテンプレートを Jinja 形式に変換
基本の学習設定で preserved thinking が有効なため、思考トレースを削除せず保持

量子化方式と品質

UD-Q8_K_XL は MoE 重みの MXFP4 とその他の重みの BF16 構成をそのまま踏襲するため、ロスレス量子化に相当
UD-Q4_K_XL は正規化テンソルなどを除く一部の残余テンソルを Q8_0 として保存し、フル精度に近く 1.51TB 規模
ロスレスの UD-Q8_K_XL は 1.56TB で、UD-Q4_K_XL より 50GB 大きい
主な量子化結果は以下の通り
- UD-IQ1_S: 594.0GB、perplexity 2.5789、Top-1 精度 78.875±0.107%
- UD-IQ1_M: 648.9GB、perplexity 2.3639、Top-1 精度 81.219±0.103%
- UD-IQ2_XXS: 711.1GB、perplexity 2.1266、Top-1 精度 84.127±0.096%
- UD-Q2_K_XL: 861.3GB、perplexity 1.7359、Top-1 精度 90.390±0.077%
- UD-Q4_K_XL: 1,510GB、perplexity 1.4579
- UD-Q8_K_XL: 1,560GB、perplexity 1.4581
imatrix 生成と量子化補正には 1.56TB のロスレス UD-Q8_K_XL を使用
Dynamic 1-bit はロスレス版より 62% 小さくしながら、約 79% の Top-1 精度を達成
2-bit UD-Q2_K_XL は 45% 小さくしながら約 90% の精度を記録
1-bit のサイズは 553.2GiB で、モデルを損なわずに 512GiB 未満 へ縮小できるかは調査中
コミュニティ量子化との比較
- 618.9GB のコミュニティ版 IQ1_M は 594GB の UD-IQ1_S より大きいが、perplexity が 54.56 に上がり 21倍悪化
- コミュニティ版 IQ2_XXS は 725GB で perplexity 96 を記録した一方、Unsloth 版は 711GB で 2.12 を記録し、約 45倍の差 が出た
- 動的量子化と適切な補正がファイルサイズと品質の両方を左右する

推論設定と性能

Kimi K3 は thinking-only モデルで、preserve_thinking が常に有効化され、デフォルトの思考レベルは max
Instant モードはサポートせず、reasoning_effort リクエストフィールドに "low"、"high"、"max" を指定できる
コンテキスト長は最大 1,048,576トークンで、Unsloth で 3 つの思考レベルを切り替えられる
推論設定には temperature=1.0、top_p=0.95 または top_p=1.0 が含まれる
モデルがメモリに収まれば、B200 で約 20トークン/秒の生成、120トークン/秒以上のスループットを得られる
サイズと品質のバランスを考慮し、594GB の UD-IQ1_S を推奨
RAM と VRAM の合計が量子化ファイルサイズと同程度である必要があり、不足しても実行は可能だが ディスクオフロード により大幅に遅くなる

Unsloth Studio での実行

Unsloth Studio はローカル AI 向けのオープンソース Web UI で、macOS、Windows、Linux をサポート
GGUF と safetensors モデルを検索・ダウンロード・実行し、llama.cpp ベースの CPU+GPU 推論 を提供
RAM オフロードとマルチ GPU 構成を自動検出
インストールと実行コマンドは以下の通り

# macOS, Linux, WSL
curl -fsSL https://unsloth.ai/install.sh | sh


# Windows PowerShell
irm https://unsloth.ai/install.ps1 | iex

unsloth studio

実行後、ブラウザで http://127.0.0.1:8888 または表示されたアドレスを開き、初回実行時にアカウント保護用パスワードを作成
無料の Cloudflare トンネルによる HTTPS 実行にも対応

unsloth studio --secure

Model hub で Kimi K3 を検索し、希望する量子化をダウンロードして実行
推論パラメータは自動設定されるが、思考レベル、コンテキスト長、チャットテンプレートなどは手動で変更できる
詳細設定は Unsloth Studio 推論ガイドで確認できる

llama.cpp での実行

CPU を含む高速なローカル推論には llama.cpp を使用
Kimi K3 のビジョンを有効にするには、汎用版ではなく Unsloth 専用フォーク をビルドする必要がある

git clone https://github.com/unslothai/llama.cpp
cd llama.cpp
git fetch origin pull/48/head:kimi-k3-fullsize-vision
git checkout kimi-k3-fullsize-vision
cd ..
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
    --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

GPU がない、または CPU 推論のみを使う場合は -DGGML_CUDA=OFF に変更
Apple Mac と Metal デバイスも -DGGML_CUDA=OFF を使用し、Metal サポートはデフォルトで有効
llama.cpp にモデルを直接ダウンロードして実行させることもできるが、ダウンロードが非常に遅い場合がある

export LLAMA_CACHE="unsloth/Kimi-K3-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Kimi-K3-GGUF:UD-IQ1_S \
    --temp 1.0 \
    --top-p 0.95

手動ダウンロードには huggingface_hub をインストール後、hf download を使用し、問題が起きた場合は Hugging Face Hub XET デバッグを参照

hf download unsloth/Kimi-K3-GGUF \
    --local-dir unsloth/Kimi-K3-GGUF \
    --include "*mmproj-BF16*" \
    --include "*UD-IQ1_S*"

ロスレス版が必要なら、ダウンロードパターンを *UD-Q8_K_XL* に変更
ローカルファイルとビジョン projector を指定して対話モードで実行できる

./llama.cpp/llama-cli \
    --model unsloth/Kimi-K3-GGUF/UD-IQ1_S/Kimi-K3-UD-IQ1_S-00001-of-00014.gguf \
    --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
    --temp 1.0 \
    --top-p 0.95

テキストクエリだけでなく、mmproj-BF16.gguf を利用した 画像入力 にも対応

ベンチマーク範囲

評価は推論・知識、コーディング、エージェント、ビジョン領域を含む
使用されたベンチマークは GPQA Diamond、HLE-Full、DeepSWE、Terminal-Bench 2.1、BrowseComp、GDPval-AA v2、OSWorld 2.0、MMMU-Pro、MathVision
DeepSWE の結果では Kimi K3 が効率的な性能を示した

Kimi K3 ローカル実行ガイド

モデルの特徴とローカル実行要件

GGUF 実装方式

量子化方式と品質

コミュニティ量子化との比較

推論設定と性能

Unsloth Studio での実行

llama.cpp での実行

ベンチマーク範囲

関連記事

1件のコメント