Kimi K2 - 最先端のMixture-of-Experts（MoE）言語モデル

 (github.com/MoonshotAI)
4 ポイント 投稿者 GN⁺ 2025-07-13 | 1件のコメント | WhatsAppで共有
  • Moonshot AIのKimi K2は、1兆パラメータを持つ最先端のMixture-of-Experts（MoE）言語モデル
  • 学習過程でMuon最適化手法を導入し、大規模化に伴う安定性の問題を解決
  • ツール利用、推論、自律的な問題解決のために、エージェント知能に焦点を当てている
  • さまざまなベンチマークでコーディング、数学、一般タスクにおいて上位クラスの性能を実証
  • 展開と活用が容易で、OpenAI/Anthropic互換APIの提供と柔軟なエンジン対応環境を備える

なぜKimi K2が重要なのか

  • Kimi K2はMoonshot AIが開発した最新のMixture-of-Experts（MoE）言語モデル
  • 1兆パラメータ規模と革新的な最適化手法（Muon）を採用し、大規模言語モデル分野で高い性能と安定性を提供
  • 既存の高性能オープンソースモデルと比べても、コーディング、数学、ツール利用など多様な実運用分野でグローバル最先端（SOTA）およびオープンソース最高水準を記録
  • 大規模モデルを高速かつ安定して学習させる課題と、多様なAI活用シナリオを支える柔軟性に強みがある

1. モデル紹介

  • Kimi K2は、総パラメータ1兆（1T）、アクティブパラメータ320億（32B）を備えた最先端のMoE言語モデル
  • Muonオプティマイザを使用し、大規模モデル学習の不安定さを効果的に解消
  • ツール活用、複雑な推論、自律エージェントといった高次能力に特化

主な特徴

  • 大規模学習: 1兆パラメータモデルを15.5兆トークンで事前学習し、学習の不安定性（unstability）なく進行
  • MuonClipオプティマイザ: 大規模モデル向けのMuonアルゴリズムと新たな最適化手法を組み合わせて安定性を確保
  • Agentic Intelligence: ツール活用、複雑な推論、自律的問題解決を念頭に設計

モデル種類

  • Kimi-K2-Base: カスタムファインチューニングや研究用途に適したベースモデル
  • Kimi-K2-Instruct: チャットや汎用エージェント運用に最適化された事後学習（post-training）モデル

2. モデル要約

  • アーキテクチャ: Mixture-of-Experts（MoE）
  • 総パラメータ数: 1兆（1,000,000,000,000）
  • アクティブパラメータ数: 320億（32B）
  • レイヤー数: 61（Dense layer含む）
  • Dense Layer数: 1
  • Attention hidden dimension: 7168
  • MoE hidden dimension（専門家ごと）: 2048
  • Attention Head: 64
  • 専門家数: 384
  • トークンごとに選択される専門家数: 8
  • 共有専門家数: 1
  • 語彙サイズ: 160K
  • コンテキスト長: 128K
  • Attentionメカニズム: MLA
  • 活性化関数: SwiGLU

3. 評価結果

Instructionモデルの性能

  • コーディング課題、ツール活用、数学/理工系、一般タスクなど多様なベンチマークで上位クラスの性能を記録
  • SWE-bench、LiveCodeBench、OJBench、MultiPL-E、TerminalBench、AceBench、Tau2、AIME、MATH-500など各種コード・ツール、数学・論理、一般タスク分野でSOTAまたは同等最高性能を示す
  • SWE-bench Verifiedでpass@1 65.8%、SWE-bench Multilingualで47.3%を記録し、Agentic Coding環境でも際立つ成果を示す
  • MATH-500（数学）、AIME、HMMT、CNMOなど理工系テストでも卓越した精度
  • MMLU（一般知識）、SimpleQAなど多様な一般タスクでも、競合するオープンソース/商用モデルに対して高い性能を確保

Baseモデルの性能

  • MMLU、TriviaQA、GPQA-Diamondなど代表的ベンチマークで、同クラスのオープンソースモデル中トップクラスの成績を記録
  • コーディング、数学、中国語評価などで大規模オープンソースベースモデルに対して全般的な優位性を確保

4. デプロイとエンジン実行

5. モデル活用例

チャットインターフェース

  • ローカル推論サービス起動後、OpenAI互換クライアント（Chat Completions APIなど）から直接対話可能
  • 推奨temperature: 0.6、Systemプロンプトも基本形の使用を推奨

ツール呼び出し機能

  • Kimi-K2-Instructは強力なツール呼び出し（tool-calling）能力を備える
  • ユーザーがリクエストごとに利用可能なツール一覧を渡すと、モデルが自律的にツール使用と実行タイミングを判断
  • パイプライン全体にわたるサンプルと結果メッセージの実演が可能
  • エンジン側でKimi-K2用のツール解析ロジック対応が必要

6. ライセンス

関連記事

1件のコメント

 
GN⁺ 2025-07-13
Hacker Newsの意見
  • Kimiをいくつかのコーディング問題で使ってみたが、Claudeが失敗したり回りくどくなったりする問題でかなりうまく動いた。モデルサイズが非常に大きいので「ローカル」モデルには向かず、動かすにはH200 GPUが16枚ほど必要だと思う。他のモデルとは違う個性も少し感じられて満足だった。少なくともアンサンブル利用環境では有用そう
    • 4ビット量子化を使えば、512GB Mac Studioを2台（MLX TB4 Ring方式、詳細はこちらのリンク参照）か、1TB RAM以上のEpycシステム1台でも実用的な速度が出る。およそ2万ドル程度のコストで試せるが、本当にプロダクション級の速度が欲しいなら、はるかに強力なハードウェアが必要。「ローカル」というより「個人スタンプモデル」と見たほうが適切
    • Claudeと直接比較しながら何度かテストしてみた。Kimiはよりシンプルで読みやすいコードを生成してくれた一方、Claudeは過剰設計気味に感じられた。ただし、KimiはClaudeが拾っていたいくつかの微妙なエッジケースを見落とすこともあった
    • Claudeと言っていたけど、Sonnet？ 3.7？ 3.5？ Opus？ 4？ どのバージョンなのか気になる
    • 最初にKimiに投げた質問（かなり単純な数学パズルだった）への答えがものすごく間違っていた。公平を期すなら、この質問ではOpenAIのモデルも失敗していた。追加プロンプトで多少改善はしたが、意外だった
  • GPT 4oやDeepSeek-V3系と同じく、このモデル（Kimi K2）は非常に印象的な汎用LLMで、しかもオープンソース。最近あまり注目されていない理由は、最前線が推論およびマルチモーダルモデル側へ移っているからだと思う。精度ベンチマークを見ると上位モデルはすべて推論特化型（参考リンク）。もし誰かがKimi K2で推論特化モデルを訓練したら、その性能はとても気になる
    • 「Kimi K2で推論特化モデルを訓練したら」と言っていたが、MoonshotAIがたぶんその作業を進めていると思う
    • なぜKimiの現在または過去のモデルがArtificial Analysisのベンチマークにまだ追加されていないのか気になる
  • 技術的な長所に加えて、Kimi K2はロボットっぽさが少ないのが感心させられる。Anthropicの最上位モデルのように、性格が明るく賢く流暢。ぎこちないボット調の返答を見なくて済むのは小さな勝利と言える
  • 私の考えでは、OpenAIのオープンソースモデル公開は、Kimi K2に話題を先取りされ、数値でも上回られたことで延期されたように見える
    • OpenAI側も「大きすぎて自宅で直接ホスティングするのは難しい」と言及していたので、その見方はあり得る。今ごろOpenAIでベンチマークを回しながら「勝てる」評価項目を探しているのでは
    • ベンチマーク基準で見るとKimi K2は複数分野でGPT-4.1に勝っている。OpenAIがまともに競争するにはGPT-4.1のウェイト、または同等モデルを公開する必要があるだろうが、おそらく可能性は低そう
  • オープンソースではなく「修正版MITライセンス」。月間アクティブユーザー1億人、または月商2000万ドル（もしくはそれ以上）の商用サービスで使う場合、サービスUIに「Kimi K2」を明確に表示しなければならないという条件が付く
    • この条件は、Llamaの「Built with Llama」表示要件と「月間アクティブユーザー7億人」条項を合わせたように見える。そしてそれを少し「改変MIT」のように見せている形
    • この条件がOSD（オープンソース定義）やFSFの自由ソフトウェア定義、Debian基準に違反しているとは思わない。GPLv2、GPLv3、BSD 4-clauseにも似た公表義務はあり、ただしユーザー数や売上基準はない。それにニューラルネットワークはソースコードからビルドされるわけではないので、「オープンソース」という言葉自体も少し曖昧。真のオープンソースにたとえるなら、学習データと学習過程まで公開するほうが近いが、それには数百万ドルかかるのでコンパイルとも違う。したがって、これはライセンス問題とは別
    • この条件が自由ソフトウェアの四つの基本的自由のどれを侵害するのか気になる。具体的に指摘してもらえるだろうか？
    • OpenStreetMapの条件よりむしろ制約は少ない
    • この条件は、Googleが「派生版」を作ってGemini-3.0-proとして出してくるのを防ぐために付けたように見える
  • 私にとってK2は山の名前で、SOTAは「summits on the air」という意味なので、見出しを見て驚いた
  • 新しい堅牢な推論モデルではないLLMがフロンティアを広げていくのは好ましい。こういうモデルにも依然としてよい使い道がある（STEMや論理パズル以外の領域）。推論トークンにコストをかけたくないときに有用
  • 「オープンソース」と言うが、実際にはオープンウェイト。いつものようにデータセットや学習スクリプトなどは提供されていない
    • 現時点ではオープンウェイトですらない。ウェイト公開には「修正版MITライセンス」の条件が付いている（前述）
    • 現行の著作権制度では、SOTAモデルの訓練を著作権テキストなしで進めるのは現実的に不可能。この種のものをどう流通させられるのか気になる
  • 返答の品質やトーンは好み（ChatGPTやDeepSeekより丁寧すぎず、もう少し率直）。ただ、現行のSOTAモデル（DeepSeek含む）よりも、応答フォーマットを崩したり取りこぼしたりすることが多い気がする
  • 最近のAIモデルはどれもem-dash（—）を乱用している。ChatGPTにはem-dashを使うなと言っても、それでも使い続ける。なぜなのか知っている人はいる？
    • em-dashを使うのが好きな立場としては、今ではLLM特有の雑さを露呈する記号として認識されてしまっていて残念だ