- Kimi K3は、2.8兆パラメータと104万8,576トークンのコンテキストを備えたオープンウェイトのネイティブマルチモーダルエージェントモデルで、長時間のコーディング・知識作業・推論を支援
- Kimi Delta Attention(KDA)、Attention Residuals、Stable LatentMoEを組み合わせ、896個のエキスパートのうちトークンごとに16個を有効化し、Kimi K2より全体のスケーリング効率が約2.5倍高い
- 公開評価ではGPQA Diamond 93.5、Terminal-Bench 2.1 88.3、BrowseComp 91.2、OmniDocBench 91.1を記録したが、モデルごとのハーネス・推論設定・ハードウェア差も併せて考慮する必要がある
- MXFP4重み・MXFP8活性値で量子化認識学習されており、Transformers、vLLM、SGLang、Docker、およびOpenAI・Anthropic互換APIで実行可能
- マルチターンとツール呼び出しでは、APIが返した
reasoning_contentとtool_callsを含むassistantメッセージ全体をそのまま再送する必要があり、コードと重みはKimi K3 Licenseで公開
モデル構造と規模
- Kimi K3は、長時間のコーディング、知識作業、推論のために設計されたオープンウェイトのネイティブマルチモーダルエージェントモデル
- 総パラメータ数は2.8T、有効パラメータ数は104Bで、93レイヤーで構成
- Denseレイヤー1個、KDAレイヤー69個、Gated MLAレイヤー24個を使用
- Attention hidden dimensionは7,168、attention headは96個
- Stable LatentMoEは896個のエキスパートからトークンごとに16個を選択し、共有エキスパート2個を使用
- Latent MoE dimensionは3,584、エキスパートごとのMoE hidden dimensionは3,072
- Kimi K2と比較すると、全体のスケーリング効率が約2.5倍向上
- 語彙サイズは160K、コンテキスト長は1,048,576トークンで、活性化関数はSiTU-GLU
- ビジョンエンコーダとして401MパラメータのMoonViT-V2を使用
- 主な機能にはテキスト・画像・動画理解が含まれるが、モデル要約表のmodality項目にはTextとImageのみ記載
長時間のコーディングと知識作業
- 最小限の人間の監督で長いエンジニアリングセッションを維持しながら、大規模リポジトリを探索し、ターミナルツールを調整
- GPUカーネル最適化とコンパイラ開発を支援
- ビジョンを活用するゲーム開発、CAD、チップ設計も対象に含まれる
- エージェント型の知識作業では、深い調査とともに対話型ビジュアライゼーション、ウィジェット、ダッシュボードを生成
- モーションデザインと動画編集もサポート範囲に含まれる
- コーディングエージェントフレームワークとしてKimi Code CLIを推奨しており、ターミナルで
/modelコマンドによりKimi K3を選択できる
評価結果
- すべてのKimi K3の結果は
reasoning_effort="max"、temperature 1.0で測定- GPQA Diamond、HLE-Full、ツールなしのビジョン評価のような単一ステップタスクにはtop-p 0.95を使用
- エージェントタスクにはtop-p 1.0を適用
- 推論・知識評価ではGPQA Diamond 93.5、CritPt 23.4、AA-LCR 74.7を記録
- HLE-Fullはツールなしで43.5、ツール使用時は56.0
- コーディング評価ではProgramBench 77.8、Terminal-Bench 2.1 88.3、FrontierSWE 81.2を記録
- DeepSWEはKimi Codeハーネスで67.5、mini-SWE-agentハーネスで67.3
- SWE-Marathon 42.0、PostTrainBench 36.6、MLS-Bench-Lite 48.3、SciCode 58.7、Kimi Code Bench 2.0 72.9を記録
- エージェント評価ではBrowseComp 91.2、DeepSearchQA F1 95.0、ResearchRubrics 76.2を記録
- MCPMark-Verified 94.5、AutomationBench 30.8、SpreadsheetBench 2 34.8、OSWorld-Verified 84.8
- Harvey Lab-AA 94.6、CorpFin v2 71.6、Finance Agent v2 54.4、Legal Research Bench 44.2と測定
- ビジョン評価ではOmniDocBench 91.1、Video-MME 90.0、MMVU 82.1を記録
- MMMU-Proはツールなしで81.6、ツール使用時は83.4
- MathVisionは94.3からPython使用時に97.8へ上昇
- ZeroBench pass@5は23.0からツール使用時に41.0へ上昇
評価条件と比較上の制約
- 比較モデルにはClaude Fable 5、GPT-5.6 Sol、Claude Opus 4.8、GPT-5.5、GLM-5.2が含まれるが、評価ハーネスはモデルごとに異なる可能性がある
- Kimi K3は主にKimi CodeまたはClaude Codeを使用
- GPT系は主にCodex、他のClaude・GLMモデルはClaude CodeやTerminus 2などを使用
- SWE-Marathonは最終v1.1以前の2026年7月9日時点のタスクを、H20に合わせて補正したブランチで評価
- Dockerイメージ、GPU性能基準、参照オラクルはH20用に再補正したが、正確性と不正防止検証器は変更していない
- Claude Fable 5はタスクの35%でfallbackが発生し、測定性能に悪影響を受けた可能性がある
- PostTrainBenchは公式環境のH100ではなく、H20 GPUで最大推論努力により実行した3回の結果の平均
- Kimi Code Bench 2.0にはサイバーセキュリティ・安全性タスクが含まれる
- Claude Fable 5は80タスク中fallback 13件と拒否1件が発生
- GPT-5.6 Solは10件、GPT-5.5は3件を拒否
- BrowseComp 91.2は300Kトークンで動作するコンテキスト圧縮戦略を使用した結果
- 別途コンテキスト管理なしで1Mトークンのウィンドウ全体を使用すると90.4を記録
- マルチモーダル評価はZeroBenchを除き3回平均を使用
- ZeroBenchは公式設定に従って5回実行
- PerceptionBenchは原子的な視覚認知能力を測定する独自ベンチマーク
ネイティブ量子化
- SFT段階から量子化認識学習を適用
- 重みはMXFP4、活性値はMXFP8を使用し、幅広いハードウェア互換性を目標とする
デプロイと実行方法
kimi-k3を選択してKimi APIにアクセスでき、OpenAI・Anthropic互換APIを提供- Hugging Face Transformersでは
pipeline("image-text-to-text", ...)またはAutoModel.from_pretrained(...)で読み込める- カスタムモデルコードを使用するには
trust_remote_code=Trueが必要
- カスタムモデルコードを使用するには
- ローカルサービングはvLLMとSGLangをサポート
- どちらのエンジンもOpenAI互換の
/v1/chat/completionsエンドポイントでテキストと画像リクエストを処理可能
- どちらのエンジンもOpenAI互換の
- Docker Model Runnerでは
docker model run hf.co/moonshotai/Kimi-K3で実行 - HuggingChat、Google Colab、Kaggleでもモデルを利用可能
推論状態を保持するAPIの使い方
- Kimi K3は思考モードが常に有効で、
reasoning_contentを返す - トップレベルのリクエストフィールド
reasoning_effortは"low"、"high"、"max"をサポートし、デフォルトは"max" - マルチターン会話とツール呼び出しは、保持された思考履歴方式に合わせる必要がある
- APIが返したassistantメッセージを
messagesにそのまま再送する必要がある contentだけでなくreasoning_contentとtool_callsも含める必要がある
- APIが返したassistantメッセージを
- ビジョン入力、構造化出力、partial mode、ツール選択、動的ツールローディング、コンテキストキャッシュはKimi K3 QuickstartとThinking Effortで確認できる
ライセンス
- コードリポジトリとモデル重みはいずれもKimi K3 Licenseで公開
2件のコメント
国内で提供する事業者が出てくるといいですね。
Hacker Newsの意見
3兆パラメータモデルのサードパーティによる中間価格が決まれば、実際のサービングコストと研究所がAPIトークンを補助しているかどうかを見積もれるはず
MXFP4ネイティブなので約1.5TBのVRAMが必要で、8×B200の限界ぎりぎりに収まり、コンテキスト長とスループット最適化まで考えると現実的には16枚必要に見える
サイバーセキュリティのAISIベンチマークではGLM 5.2より高いが、最先端の非公開モデルとは大きな差があり、ファインチューニングが必要かもしれない。CursorがKimi 2.6/2.7のファインチューニング版であるComposer系やGrok 4.5と直接比較するよう再学習するのかも気になる
全確率分布を学習する、きちんとした知識蒸留で小型モデルを作れる可能性にも期待できる。特にサービングコストが低いDSV4-Kimiは有望そう
中古の4Uサーバーと64GB ECC DIMM 32枚で3TB RAMを構成すれば3万ドル未満なので、実GPU機材とは価格差が大きい。まだ完全精度の重みやUnslothのQ8/Q8-XL量子化版はないが、余裕のあるコンテキストまで使うなら1,536GBを超えて2TB、できれば2.5〜3TBが必要に見える
Q4とQ6は知識と精度を失う一方で遅く信頼しにくい、最悪の妥協案になる可能性が高く、低予算機材で賢いが遅いモデルを動かすならQ8は必要だと思う
https://github.com/woct0rdho/transformers5-qwen3.5-recipeで概念実証を作っており、CPUオフロードなしでQwen3.5-35B-A3Bは16GiB VRAM、DeepSeek-V4-Flash 284B-A13Bは90GiB VRAMでファインチューニングできる。Strix Haloのような統合メモリシステムでもうまく動く
それでもKimi-K3級のモデルは複数GPUとノードが必要で、単一GPUでの学習より解決すべきことがはるかに多い
今回の公開で価格よりはるかに興味深いのはカスタマイズ性だ。スタートアップでも重みをダウンロードして修正し、ファインチューニングできる。本当の利点はコストよりも自社データでの性能と知的財産権の主権にある。Kimiチームの大きな成果だ
個人がLLMを動かすためのハードウェアは用途に合わない構成になっていると感じる。統合メモリで秒間5〜10トークンに耐えるか、数百GBのVRAMと1kW以上を消費するデータセンター向けカードに行くしかない
TDP 180〜250WでVRAM 128GBや256GBを備えた準プロ向けGPUがなく、こうしたカード2枚と一般的なNVLink級接続だけでもかなり有用なはずだ。Kimi K3のローカル実行には途方もないホームラボと費用が必要だろうが、GLM 5.2を単一セッションで秒間約100トークン、複数のサブエージェント使用時に約60トークンで動かせるなら良いと思う
最新の
llama-serverを--no-mmapで実行した測定値は、DeepSeek-V4-Flash Q4_K_XL 178,175MiB、Q8_K_XL 184,636MiB、Laguna-S-2.1 Q8_K_X 172,860MiB、Qwen3.5-122B-A10B Q8_K_XL 170,038MiBと予想されるデスクトップ作業も断続的だが、必要な演算性能が十分安くなり、アイドル時には過剰なほどの機材を机の上に置けるようになったこととは対照的だ
gpt-oss程度を例外にしつつ公開モデルの実行を難しくしているのに民主化を語るので、特に不当だと思える数千ドルのGPUを買えるなら裕福な技術好きとして買うだろうが、スポーツカーのような極めて非効率な贅沢品であることは認めるべきだ。本当に不幸なのは、信頼できる形で共有ハードウェアを運用するコンピューティング技術や政治・社会制度がないことにある
ライセンス上、ライセンス保有者または関連会社がサービスとしてのモデル事業を運営し、連続する12か月の合計売上が2,000万ドルを超える場合、ソフトウェアや派生物を商用利用する前に Moonshot AI と別途契約を締結する必要がある
https://app.fireworks.ai/models/fireworks/kimi-k3 で利用可能で、価格は非キャッシュ入力100万トークンあたり3ドル、キャッシュ入力0.30ドル、出力15ドル
現時点では Moonshot よりレイテンシが大幅に低いが、利用量もはるかに少ないため、維持されるかは見守る必要がある。それでも当日デプロイは印象的
競争により GLM 5.2 の価格は6月16日のリリース後、約1.5か月で45%ほど下がり、今も新しいプロバイダーが価格競争を続けている: https://openrouter.ai/z-ai/glm-5.2#providers
経済学的には、価格は総費用を下回ってはならないのではなく、限界費用を下回ってはならないのであり、GPU 稼働率の低いデータセンターなら、これはおおむね電気代に相当する。小規模データセンターの過剰設備と競争のため、近いうちに電気代と GPU 減価償却費を合わせた水準より低くトークンを売るところも出てくるかもしれないと推測している
Hugging Face で “Tell me about yourself” と尋ねたところ、Kimi K3 が自分を Anthropic が作った Claude だと答えたのが興味深かった
フロンティアモデルは保存用にダウンロードしておくことを勧める。1.5TBでも安価なディスクに入れてトレントでシードすれば、さらに有用である
かつて暗号化アルゴリズムを統制しようとしたように、モデルも規制で封じ込められる可能性があり、公開ソフトウェアは広く配布されてこそ生き残る。時間が経てば、手法とハードウェア製造への莫大な投資のおかげで現実的に実行可能になるはずだが、そのとき配布が違法になり、規制による囲い込みのコストを払わなければならないとしたら残念である
マグネットURLは
magnet:?xt=urn:btih:1e63a865fbf9b58decc8b71091db54d673c5da6f&dn=Kimi-K3&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=udp%3A%2F%2Fopen.stealth.si%3A80%2Fannounce&tr=udp%3A%2F%2Fexplodie.org%3A6969%2Fannounce&tr=udp%3A%2F%2Ftracker.torrent.eu.org%3A451%2Fannounce&tr=udp%3A%2F%2Fexodus.desync.com%3A6969%2Fannounceであるライセンスを検討し、実際のハードウェアで試験した結果、プロバイダーが Moonshot の価格より60〜70%安く提供するのは難しそうに見える。多少は下げられるとしても、処理速度を大きく犠牲にしない限り、GLM 並みの割引は難しそうだ
Kimi のマージンは、GPU を高いレンタル価格で調達すると仮定しても約40〜50%と推定され、自社設備ならさらに高い可能性がある。しかし、一部が推定する Anthropic の90%以上のマージンには及ばず、Anthropic API の80%マージンでさえ疑わしい
電気代だけが原価なら80〜90%も可能だろうが、現在提供されている秒間トークン数を見ると容易ではない。B200でのみ試験し、B300は入手できていない。また、すでに量子化モデルであり、100万トークンのコンテキストも使っていないため、即時のメモリ最適化余地も小さく見える。R100 にアクセスできる誰かがコストを検証してくれるとよい
大手プロバイダーは Kimi と契約しなければならないため、Kimi が最上位の公開モデルである間は、大幅な割引は期待しにくい
元リンクが 404 を返しているが、ブロックされたのか自己検閲されたのか気になる
政府の統制で突然消える可能性に備えて保存しようとする需要がありそうだ。中国も最近 モデル輸出規制 の議論を始めており、遅れたモデルではなく最先端モデルを出し始めた今では状況が変わっている