Kimi K3公開 ― オープンなフロンティア・インテリジェンス

 (kimi.com)
1 ポイント 投稿者 GN⁺ 4 시간 전 | 1件のコメント | WhatsAppで共有
  • Kimi K3は、2.8兆パラメータ、ネイティブビジョン、100万トークンのコンテキストを備え、長時間のコーディング／知識作業／推論を狙った、世界初の公開3T級モデル
  • Kimi Delta Attention/Attention Residualsと、896人のエキスパートのうち16人を有効化するStable LatentMoEを採用し、Kimi K2より全体のスケーリング効率を約2.5倍向上
  • GPUカーネル最適化／コンパイラ開発／3Dゲーム制作／チップ設計／科学研究などで、最小限の人間の介入により長時間タスクを実行し、一部のコーディング／エージェントベンチマークではクローズドモデルと競合、または上回る結果を記録
  • Kimi.com/Kimi Work/Kimi Code/Kimi APIですぐに利用でき、リリース時点では最大推論努力がデフォルト。モデルの全重みは2026年7月27日までに公開予定
  • 総合性能とユーザー体験はClaude Fable 5とGPT 5.6 Solには及ばず、思考履歴の受け渡し方法に敏感で、曖昧な状況ではユーザーに代わって過度に判断してしまう可能性があるという制約がある

2.8兆パラメータの公開モデル

  • Kimi K3はKimiが公開したモデルの中で最も高性能なモデルで、2.8兆パラメータ／100万トークンコンテキスト／ネイティブビジョンをサポートする
  • 全体性能はClaude Fable 5とGPT 5.6 Solより低いものの、独自評価全般で他の比較モデルを一貫して上回り、フロンティア級の結果を示した
  • 過去12か月のうち9か月間、Kimiモデルが公開モデルサイズの上限を更新しており、K3は初めて3T級に到達した
  • Kimi.com/Kimi Work/Kimi Code/Kimi APIで提供される
  • リリース版は最大推論努力をデフォルトで使用し、低努力／高努力モードは今後のアップデートで追加予定
  • 推論サービス事業者とオープンソースメンテナーが技術的詳細を調整しており、全重みと技術レポートは2026年7月27日までに公開予定

KDA/AttnRes/Stable LatentMoE構造

  • Kimi Delta Attention(KDA) は、長いシーケンスでアテンションを効率的に拡張する基盤を提供する
  • Attention Residuals(AttnRes) は、各層の表現を一様に蓄積するのではなく、モデルの深さ方向で必要な表現を選択的に取り込む
  • Mixture of Expertsの疎性を拡大し、Stable LatentMoE構造で896人のエキスパートのうち16人だけを有効化する
  • 構造変更と学習／データレシピの改善を組み合わせ、Kimi K2比で全体のスケーリング効率が約2.5倍向上した
  • 大規模疎モデルのルーティングと最適化のために複数の手法を適用した
    • Quantile Balancingは、ルータースコアの分位点からエキスパート配分を直接計算し、ヒューリスティックな更新と敏感な均衡ハイパーパラメータを排除する
    • Per-Head Muonは、各アテンションヘッドを独立に最適化し、大規模学習の適応性を高める
    • Sigmoid Tanh Unit(SiTU)は活性値を制御し、Gated MLAはアテンションの選択性を高める

学習と推論インフラ

  • SFT段階から量子化認識学習を適用し、幅広いハードウェア互換性のためにMXFP4重み／MXFP8活性値を使用する
  • 大規模エキスパート並列化でエキスパートの不均衡がスループットを低下させないよう、固定テンソル形状とクリティカルパスのホスト同期を排除した、完全に均衡したエキスパート並列学習方式を導入した
  • 推論時には広い高帯域通信領域が必要なため、64基以上のアクセラレータを接続したsupernode構成を推奨する
  • KDAが従来のprefix cachingにもたらす問題を解決する実装をvLLMコミュニティに貢献しており、モデルとともに公開予定
  • KDA prefill cacheを使うことで、モデル規模と長いコンテキストにもかかわらず、競争力のあるトークン価格でサービス提供できる

長時間コーディングと視覚フィードバック

  • 最小限の人間の監督で長いエンジニアリングセッションを継続し、大規模リポジトリを探索し、ターミナルツールを調整できる
  • ソフトウェアエンジニアリングと視覚推論を組み合わせ、スクリーンショットと実行結果を確認しながら、ゲーム開発／フロントエンド／CADの結果を反復改善する
  • コードと実際の画面を往復するvision in the loop方式により、画像や動画を実行可能なインタラクティブ成果物に変換する
  • 開発後期段階では、初期のKimi K3がチームのGPUカーネル最適化作業の大半を処理した

GPUカーネル最適化

  • 同一サンドボックスで、モデルごとに最大24時間、AttnRes/KDA/MLAカーネルをプロファイリングし修正するよう評価した
  • Kimi K3はFable 5の潜在的なfallback結果と競合し、Opus 4.8/GPT 5.6 Sol/GPT 5.5より全般的に高い結果を記録した

  • AttnRes

    • 96層／モデル次元8,192／8,192トークンという運用形態のFLA Triton実装を、数値結果を変えずに最適化した
    • 15時間にわたり反復作業し、新しい2段階カーネルアルゴリズムを設計して複数のカーネルを融合した
    • 順伝播と逆伝播の時間を283.6msから114.4msに短縮した
    • Fable 5の潜在的なfallback結果と似た最終性能を出したが、K3のほうが反復あたりの最適化速度は速かった

  • DSA

    • DeepSeek-V3.2とそろえたハイパーパラメータと100万トークンシーケンスを使う実際の学習設定で、TileLangベースのDSAカーネルを最適化した
    • 基準実装比でエンドツーエンド時間を55.1%短縮し、Fable 5の57.3%に次ぐ2番目の結果を記録した

  • MLA-512

    • 基準カーネルなしで、batch 1／64ヘッド／8,192トークン／ヘッド次元512のMLAカーネルをゼロから作成した
    • 順伝播と逆伝播で517.8 TFLOPSを達成し、H200の理論上のBF16ピークの半分を超えた
    • 次に高いモデルの492.7 TFLOPSを上回った

  • KDA on GPGPU

    • CUDAやソフトウェアスタック／メモリ動作が異なる代替ベンダーの汎用GPUで、FLA Triton KDA実装を最適化した
    • プロファイリングから性能モデルを新たに構築し、順伝播と逆伝播の時間を基準実装より73.6%短縮した
    • さらなる改善余地が残っている可能性があると述べている

  • 評価上の注意点

    • Claude Fable 5は第三者が評価しており、一部結果にfallback動作が含まれていた可能性がある
    • 複数モデルの一部実行経路は、許容された数値誤差範囲内で小さな精度短縮を使用している

MiniTriton GPUコンパイラ

  • Kimi K3がTritonに似た小型GPUプログラミングシステムMiniTritonをゼロから開発した
  • MLIR上に独自のタイル単位中間表現を構築し、最適化パス／PTXコード生成パイプライン／ランタイムを実装した
  • 対応するrooflineベンチマークでTritonおよびtorch.compileと同等またはそれ以上の性能を出し、一部タスクではTritonを上回った
  • nanoGPTの全学習を安定して実行し、損失曲線も参照実装との差が小さいまま収束した
  • DSLフロントエンドからIR最適化／PTX生成／ランタイムまで一貫した完全なコンパイラを作り、ゼロから書いたTensor Core経路もTritonの最適化済みスタックと競合した

3Dゲームとデジタル制作

  • Kimi K3がThree.js WebGPUとGPUコンピュートを使い、手続き的に生成されるブラウザベースの3D探索ゲームを制作した
  • 森／丸太小屋の村／雪山／動的天候を備えたオープンワールドを生成し、3Dアセット生成ツールで騎手と馬のモデルを制作した
  • アニメーション付きのカウボーイ／馬モデルと地形データは外部アセットを使用している
  • 成果物は3D Open Worldで確認できる

モデル向けチップ設計

  • Kimi K3が、自身の構造を使う小型モデルを動かすためのチップを48時間連続の自律作業で設計した
  • Nangate 45nmライブラリとオープンソースEDAツールを使い、設計／最適化／検証を実施した
  • 面積4mm²内で100MHzタイミングを満たし、シミュレーション基準で毎秒8,700トークン以上のデコードスループットを記録した
  • 146万個の標準セル／0.277MB SRAM／逆量子化が融合されたINT4 MAC配列を含む

計算科学研究の実装

  • 科学文献を実行コードにつなげ、複雑な計算研究プロセスを実装／検証／分析する
  • 計算天体物理学のI–Love–Q普遍関係の再現作業を約2時間で完了し、熟練研究者なら通常1〜2週間必要な作業だと比較している
  • 20本以上の論文をレビューし、相互検証し、数値計算パイプライン全体を実装した
  • 300件以上の状態方程式を評価し、公開済み数式間の不一致を発見した
  • 3,000行以上のPythonコードと、結果探索用のインタラクティブHTMLダッシュボードを生成した

知識作業とインタラクティブ研究

  • 公開ベンチマーク以外に、実ユーザー／エージェントワークフローで繰り返し発生する問題を基に構成した内部評価でも、Kimi K3(max)が一貫した向上を示したとしている

  • AI ASIC産業42年分析

    • 42年間のAI ASIC産業を分析するインタラクティブWebサイトを、120回以上の再帰的自己改善で制作した
    • 2,800回以上のWeb検索／取得と、1,100回以上のターミナルデータ収集を実施した
    • 87件の四半期報告書と99件の原本PDFを含む、11,000ページ以上の資料を使用した
    • 根拠資料をカスタムチャート／アニメーション図式／インタラクティブな視覚的ナラティブに変換した

  • 核融合産業研究

    • タイムライン／ファネルチャート／範囲棒グラフ／Ganttチャートと、出版品質のスライドを含むコンサルティング形式の産業レポートを制作した

  • GWTC-5重力波分析

    • 20以上の同時サブエージェントを使い、391件の重力波イベントを分析した
    • 7件の科学可視化／2件の表／10本以上の論文の文献統合を生成した

  • プレゼンテーション

    • 完全に編集可能なヒートマップや年次報告書など、インフォグラフィック形式のプレゼンテーション制作に活用された

WidgetsとDashboard

  • Kimi Workに、会話をより視覚的かつ持続的にするWidgets/Dashboard機能を追加した
  • Widgetsはチャット内でインタラクティブな構成要素を生成し、ローカルデータや外部プラグインに接続して継続的に更新できる
  • Dashboardは重要なウィジェットを、トピック／プロジェクト／目標別に構成された1つのパーソナライズ画面に保持する

動画編集

  • テキスト／画像／動画を1つのネイティブマルチモーダルモデルで処理し、モーションデザイン／アニメーション／動画編集作業を行う
  • 自身の構造を説明する3Blue1Brownスタイルのモーショングラフィックス動画を制作し、技術概念をアニメーション図式と画面遷移で表現した
  • 56本の元クリップから自身のティザー動画を編集し、クリップ選択／動きがつながるカット／フレーム単位のビート同期／音声処理／複数回の修正を行った
  • 同じ密度の短い動画は、熟練編集者なら通常1〜2日、初心者なら3〜5日かかる作業だと比較している

主なベンチマーク結果

  • すべてのKimi K3結果は、推論努力max／temperature 1.0／top-p 1.0で測定され、ベンチマークごとにKimiCode/Claude Code/Codexエージェントハーネスを使用した

  • コーディング

    • DeepSWE 67.5 / Program Bench 77.8 / Terminal Bench 2.1 88.3
    • FrontierSWE 81.2 / SWE Marathon 42.0 / PostTrain Bench 36.6
    • MLS Bench 48.3 / 内部Kimi Code Bench 2.0 72.9
    • Program BenchとSWE Marathonでは、表に含まれるモデルの中で最高スコアを記録した
    • Terminal Bench 2.1はGPT 5.6 Solの88.8に近く、FrontierSWEはFable 5の86.6より低い

  • エージェントと業務自動化

    • GDPval-AA v2 1,668 Elo / BrowseComp 91.2 / DeepSearchQA 95.0
    • Toolathlon-Verified 73.2 / MCP Atlas 84.2 / Automation Bench 30.8
    • Job Bench 52.9 / AA-Briefcase 1,548 Elo / APEX-Agents 37.6
    • Office QA Pro 63.3 / SpreadsheetBench 2 34.8 / 内部DECK-Bench 73.5
    • BrowseComp/DeepSearchQA/Automation Bench/SpreadsheetBench 2では、表に含まれるモデルの中で最高スコアを記録した
    • MCP Atlasは、500件の公開タスク／100ターン制限でGemini 3.1 Proを判定モデルとして使用した
    • AutomationBenchは600件の公開タスクで評価した
    • BrowseCompは30万トークンでコンテキスト圧縮を適用しており、100万トークンコンテキストを管理なしで使うとK3のスコアは90.4

  • 推論と知識

    • GPQA-Diamond 93.5 / HLE-Full 43.5 / ツール使用時のHLE-Full 56.0
    • GPQA-DiamondはGPT 5.6 Solの94.1に近かったが、HLE-FullはFable 5の53.3およびツール使用スコア63.0より低い

  • ビジョン

    • MMMU-Pro 81.6、Python使用時 83.4
    • CharXiv RQ 84.8、Python使用時 91.3
    • MathVision 94.3、Python使用時 97.8
    • BabyVision with Python 85.7
    • ZeroBench pass@5 23.0、Python使用時 41.0
    • WorldVQA ForceAnswer 51.0 / OmniDocBench 91.1 / 内部PerceptionBench 58.5
    • OmniDocBenchでは、表に含まれるモデルの中で最高の91.1を記録した
    • ZeroBenchは公式設定に従って5回実行し、その他のマルチモーダルスコアは3回実行の平均を使用した
    • PerceptionBenchは、単位視覚知覚能力に焦点を当てた独自ベンチマーク

評価方法と比較上の制約

  • ベンチマークごとに使用したエージェントハーネスとスコア出典が異なり、モデル間の直接比較には条件差がある
  • DeepSWEでのKimiCodeハーネスのスコアは67.5で、公式リーダーボードのmini-SWE-agentハーネスでは67.3を記録した
  • Terminal Bench 2.1の他モデルのスコアは、複数ハーネスの中で最も高い結果を使用した
  • FrontierSWEスコアは公式スクリプトで生スコアから再計算したもので、2026年7月16日時点
  • PostTrain Benchは3回実行の平均を使用し、Claude Fable 5がポリシー上リクエストを拒否した場合はClaude Opus 4.8へ自動fallbackされる
  • GDPval-AA v2とAA-BriefcaseのスコアはArtificial Analysisの結果を使用した

利用方法と価格

  • Kimi K3 Agents
    • iOS/Android/HarmonyOS向け最新Kimiアプリ、またはKimi.comで利用可能
  • Kimi Work
    • WindowsおよびApple silicon Mac向けKimi Work 3.1.0以降で対応
  • Kimi Code
    • ターミナルで実行した後、/modelコマンドでKimi K3を選択する
  • Kimi API
    • モデル識別子はkimi-k3
    • キャッシュヒット入力は100万トークンあたり0.30ドル、キャッシュミス入力は3ドル、出力は15ドル
    • Mooncakeの分離型推論構造を使用し、公式APIのコーディングタスクにおけるキャッシュヒット率は90%を超える
  • Kimi Enterprise
    • 組織向けデータ保護とメンバー管理機能を提供し、個人アカウントと組織アカウントを完全に分離する

制限事項

  • 思考履歴への敏感さ
    • K3は以前の思考履歴を保持する方式で学習されている
    • エージェントハーネスが過去の思考内容をすべて再度渡さない場合や、別モデルを使っていたセッションからK3へ切り替えた場合、生成品質が大きく不安定になる可能性がある
    • 互換性が検証されたKimi Codeの利用と、セッション途中でのモデル切り替え回避を推奨する
  • 過度な先回り行動
    • 長時間の難しい作業に重点を置いて学習されているため、小さな問題や曖昧なユーザー意図に直面すると、ユーザーに代わって予期しない決定を下すことがある
    • 行動範囲を制限すべきアプリケーションでは、システムプロンプトやAGENTS.mdにより明示的な制約を入れる必要がある
  • 全体として競争力のあるモデルだが、ユーザー体験ではClaude Fable 5とGPT 5.6 Solに明確な差がある

関連記事

1件のコメント

 
GN⁺ 4 시간 전
Hacker News の意見

  • 初期の概念実証として、Kimi K3 が自前アーキテクチャのナノモデルを動かすチップを設計したという点に驚き
    48時間の自律実行 1回で、オープンソースの EDA ツールと Nangate 45nm ライブラリを使って設計・最適化・検証まで完了し、4mm²で100MHzのタイミングを満たしつつ、シミュレーション上では秒間8,700トークン超のデコードスループットを達成
    146万個の標準セル、0.277MB SRAM、融合逆量子化をサポートする INT4 MAC アレイまで含み、モデルがモデル用のチップを作った長期タスク能力を示している

  • Moonshot に直接登録して使うつもりなら、API の利用データも学習に使われる可能性があることを知っておくべき
    顧客コンテンツをサービスの提供・維持・改善やモデル学習などに使用でき、これを制限するには別途の企業契約または書面での合意が必要だと明記されている
    https://platform.kimi.ai/docs/agreement/modeluse#4-content

    • OpenAI や Anthropic も同じか、さらにひどい可能性が高いと見ている
      知的財産を取り込んで安全検査を付けて売り直すビジネスで、利用データを学習しているのかと問うこと自体がナイーブかもしれず、少なくとも中国企業のほうがよりオープンで、コミュニティに還元していると思う
    • 過度に疑うほうではないが、中国のすべての研究所は、規約に関係なくデータを学習に使うと仮定すべきではないかと思う
    • OpenRouter は Moonshot プロバイダーを ZDR に分類している
      実際にデータ非保持契約を結んでいるのか、OpenRouter の誤分類なのか気になる
    • OpenAI、Anthropic、Google、xAI をはじめ他社も皆データを活用していると見ている
      使わないと言っていたとしても、この勢力図を揺るがす競争で本当に諦める企業があるのか疑問

  • 詳しい使い方と価格は次のドキュメントで確認できる
    https://platform.kimi.ai/docs/guide/kimi-k3-quickstart
    https://platform.kimi.ai/docs/pricing/chat-k3
    100万トークンのコンテキスト長をサポートし、100万トークンあたり入力 $3・出力 $15・キャッシュ $0.3 で、中国の公開重みモデルとしては非常に高価
    Anthropic Sonnet 系列と実質的に同じ価格で、5.6 Terra の入力 $2.5 とも近いが、実際のコストは推論効率に大きく左右される
    例えば Sol が $30/100万トークンで1万個の推論トークンを使い、Kimi K3 が同じ作業に5万個を使うなら、コスト効率は Sol のほうが高くなる

    • 中国ソーシャルメディアで公開された公式ベンチマークを見ると、全体として Sol/Fable 級で、Opus 4.8 よりは満遍なく上回っているようだ
      https://mp.weixin.qq.com/s/V4xhEIy8xDXSMDPrPkmUAQ
      英語ブログも公開されている: https://www.kimi.com/blog/kimi-k3
    • トークナイザーの違いも重要
      同じテキストでも Anthropic のトークナイザーは OpenAI よりはるかに多いトークンにエンコードすることがある
      Kimi の実質的な競合は GLM だと思うが、GLM 5.2 は価格が3分の1にも満たない
    • 再リリースされた Fable でアプリを作ったとき、性能は素晴らしかったが推論過程は完全に不透明だった
      一方 Kimi は意味のある程度の推論過程全体を見せてくれるので、奇妙な迂回や方向転換を直接確認でき、アイデアもはるかに徹底してデバッグできる
      ほかの LLM では解けなかった個人的なニッチ分野でもかなり進展したようなので、さらに試してみるつもり
    • 2.8兆パラメータモデルは、利益を考慮しても推論コスト自体が高い
      オープンソースとして公開されれば、100万トークンあたり $10〜12 程度まで下がるかもしれないと見ている
    • クイックスタート文書は実際のベンチマークを技術ブログへ振っているが、そのブログには K3 がなく、2世代前の K2.6 が最後なので、何か抜けている感じがする

  • Kimi 側の評価では、K3 の総合知能は Claude Fable 5 と GPT-5.6 Sol に次ぎ、全重みとアーキテクチャ、学習、評価を含む技術レポートを近日公開予定だという
    GDPval-AA v2 で1687点を記録し、Claude Fable 5 Max と GPT-5.6 Sol Max に次ぎ、Claude Opus 4.8 Max の1600点を上回っている
    非公開の長期知識タスクベンチマークである AA-Briefcase では1527点で、Fable 5 Max に次ぎ、GPT-5.6 Sol Max の1495点を上回っており、もう一度 DeepSeek のような瞬間になる可能性もありそうだ

    • 2つのモデルより後ろなら、2位ではなく3位と見るべき
    • GDPval-AA v2 は Sonnet 5 が Opus 4.8 Max より高いベンチマークでもある
      いまやすべての公開重みモデルが驚くようなスコアを出しているので、ベンチマークだけでは全体像は分からず、評価データが学習データに漏れていたか、意図的に含まれていたと疑わざるを得ない
    • DeepSeek が衝撃的だった理由は、コストが10倍安かったから
      K3 は Sol より約2倍安い程度なので、トークン効率の差や誤差範囲に近く、公開モデルが最前線の研究所に追いつくという既存トレンドの延長であって、DeepSeek のようにトレンドそのものを変えた出来事ではないと思う
    • 「最前線級の性能」という文言が出ているページを見つけにくいのだが、出典がどこなのか気になる

  • OpenRouter APIで作成したペリカンSVGの結果: https://tools.simonwillison.net/markdown-svg-renderer#url=ht...
    使用モデルは https://openrouter.ai/moonshotai/kimi-k3 で、入力95トークン・出力16,658トークンに25セントかかった
    https://www.llm-prices.com/#it=95&ot=16658⁣=3&oc=15
    出力のうち13,241個が推論トークンで、これまで中国モデルでレンダリングしたペリカンの中で最も高額だった

    • ペリカンベンチマークが今でもどのような価値を提供し得るのかについても、ブログにさらに詳しくまとめている: https://simonwillison.net/2026/Jul/16/kimi-k3/
    • いまやモデルがSVGペリカンのレンダリングに最適化されていても驚かない気がする
    • 「自転車に乗るペリカンのSVGを生成せよ」という依頼が、どうやって入力95トークンになったのか気になる

  • Kimi K3は2.8兆パラメータで、最大級の公開モデル一覧のトップに位置する
    Kimi K3 2.8T、DeepSeek-V4-Pro 1.6T（アクティブ49B）、Kimi K2.6 約1T（アクティブ32B）、GLM-5.2 754B（アクティブ40B）、DeepSeek-V3.2 685B、Mistral Large 3 675Bの順
    とてつもなく大きなモデルなので、Moonshotがこれを運用するには、今年初めに調達したとされる5億ドルが必要になりそう

    • 実際に公開ウェイトになるかはもう少し見守る必要があり、現時点ではアクティブパラメータ数すら分かっていない
    • Ling/Ring 1T-A50Bと新しいInkling 975B-A41Bもこの一覧に入るに値する

  • Googleアカウントを使ったり電話番号を提供したりせずに、Kimi K3を試す方法があるのか気になる

  • Kimi K3のブログが公開された: https://www.kimi.com/blog/kimi-k3
    2.8兆パラメータの公開モデルで、100万トークンのコンテキスト長と視覚入力を標準サポートし、技術レポートとウェイトは7月27日までに公開予定
    リリース時点では最大推論強度がデフォルトで、低・高モードは今後のアップデートで追加される

    • ベンチマークの数値が驚くほど高い
      中国が米国に6か月遅れていた時期は終わったのか、はるかに少ないリソースでどうやってこの結果を出しているのか気になるし、研究者たちはすごいと感じる

  • 初回の試行で、Kimi K3はFable 5でも何度も見つけられなかったバグの原因をすぐに見つけた
    まだ使用量の少ない単一事例にすぎないが、今のところ非常に有望に見える

    • サブスクリプション上限はかなり厳しい
      $100サブスクリプションのクォータ消費速度が、Fableを使うAnthropicの$200サブスクリプションと同じくらいに感じるが、モデル自体は優秀で、Opus 4.8より高く評価できるかもしれない
    • Claude CodeやVS Code向けCodex拡張、Vimキーバインドを適用したCodex CLIのように、エージェント型の作業にKimiを使う方法が気になる
      OpenRouterにも似たツールがあるのか知りたい

  • 英語ブログが公開されたので、既存リンクを https://www.kimi.com/blog/kimi-k3 に差し替えるほうがよさそう