Kimi K2 Thinking、SOTAのオープンソース・トリリオンパラメータ推論モデル

 (moonshotai.github.io)
2 ポイント 投稿者 GN⁺ 2025-11-07 | 1件のコメント | WhatsAppで共有
  • Kimi K2 Thinking は、ツールを活用しながら段階的に思考する オープンソース推論モデル で、複雑な問題解決において人間レベルの思考プロセスを実装
  • Humanity’s Last Exam(HLE)、BrowseComp、SWE-Bench Verified など主要ベンチマークで 最新最高性能(SOTA) を達成
  • 最大 200〜300回の連続ツール呼び出しを実行し、テストタイムスケーリング(test-time scaling) により思考トークンとツール呼び出し段階を同時に拡張
  • エージェンティック(Agentic)な推論・検索・コーディング分野で際立った性能を示し、複雑な数学・コーディング・Web探索の問題を長期的な計画で解決
  • INT4量子化ベースの推論効率化により、速度を2倍に向上させGPUメモリ削減を実現、大規模オープンソースモデルの中でも最高水準の効率性を確保

Kimi K2 Thinking の紹介

  • Kimi K2 Thinking は Moonshot AI が公開した 最高性能のオープンソース思考モデル
    • ツール使用中でも段階的推論を行う 「thinking agent」 構造
    • HLE、BrowseComp などで 最新最高性能 を記録
  • テストタイムスケーリングにより、思考トークン数とツール呼び出し段階を同時に拡張
  • 現在は kimi.com のチャットモードで利用可能で、フルエージェンティックモードは近日公開予定
  • API による外部連携が可能

評価結果

  • HLE(ツール使用) 44.9%、BrowseComp 60.2%、SWE-Bench Verified 71.3% を達成
  • 多領域の専門レベル問題解決において 一貫した汎化能力 を実証
  • エージェンティックな推論・検索・コーディング全般で既存モデルを上回る性能向上

エージェンティック推論 (Agentic Reasoning)

  • Humanity’s Last Exam(HLE) で 44.9% を達成し最高記録を更新
    • 100以上の学問分野にわたる専門家レベルの問題を含むクローズドベンチマーク
    • 検索・Python・Webブラウジングツールを併用
  • 23段階の推論とツール呼び出しを交互に実行し、博士課程レベルの数学問題を解決した事例を提示
  • 数百段階にわたる計画・推論・実行・適応により、複雑な学術問題の解決が可能

エージェンティックコーディング (Agentic Coding)

  • SWE-Multilingual 61.1%、SWE-Bench Verified 71.3%、Terminal-Bench 47.1% を記録
  • HTML・React など フロントエンドコンポーネント中心の作業で高い完成度
  • ツール呼び出しによる多段階の開発ワークフローを実行し、正確で柔軟なコード生成を支援
  • 単一プロンプトで Webサイト・ドキュメントエディタなどの複合アプリケーションを生成した事例を提示

エージェンティック検索とブラウジング (Agentic Search and Browsing)

  • BrowseComp 60.2% で人間基準(29.2%)を大きく上回る
    • リアルタイムのWeb情報収集と推論能力を実証
  • 200〜300回の連続ツール呼び出しを実行し、長期計画・適応型推論を実装
  • 「思考 → 検索 → ブラウザ使用 → 思考 → コーディング」の反復ループにより
    複雑なオープンエンド問題を構造化されたサブタスクへ分解

一般的な能力 (General Capabilities)

  • 創造的ライティング: 豊かな表現力と感情的な深みを備えた物語生成
  • 実用的ライティング: 論理構造と指示の正確性が向上し、学術・研究向けコンテンツに適合
  • 感情的応答: 共感的で具体的な助言を提供し、人間的なバランス感覚を強化

推論効率 (Inference Efficiency)

  • INT4重み専用量子化(QAT) の適用により、2倍の高速化 と メモリ削減 を実現
  • 大規模推論時でも性能低下なく 精密な思考プロセスを維持
  • すべてのベンチマーク結果は INT4精度基準 で報告

総合性能比較

  • 主要ベンチマークで GPT‑5、Claude Sonnet 4.5、DeepSeek‑V3.2 などと 同等またはそれ以上の性能
  • Reasoning・Coding・Agentic Search の全分野で オープンソース最高水準 を達成

要約:
Kimi K2 Thinking は、ツールベースの段階的思考を行う トリリオンパラメータ級オープンソース推論モデルであり、
複雑な問題解決と長期的な計画実行において SOTA水準の性能と効率性 を同時に達成した最新のAIシステムである。

関連記事

1件のコメント

 
GN⁺ 2025-11-07
Hacker Newsの意見

  • uv tool install llmでMoonshot Kimi-K2-Thinkingモデルをインストールし、llm -m moonshot/kimi-k2-thinking 'Generate an SVG of a pelican riding a bicycle'コマンドでSVGを生成した
    結果はこのリンクで見られる
    OpenRouterのmoonshotai/kimi-k2-thinkingで実行した結果は、このバージョンのようにずっと精巧だった

    • OpenRouterの結果は量子化された（quantized）ホスティングプロバイダーによるもののようだ
      Moonshotの直接API呼び出しと比べると、ほとんど      雲泥の差      がある
      OpenRouterはアカウント単位ではなくAPI単位でのみ量子化制限をかけているため、ユーザー体験がやや混乱しやすい
    • 新しいモデルが出るたびに、このベンチマークがますます象徴的なものになっていくのが興味深い
      GPT-5系の性能はいまだに信じがたいが、オープンソースモデルがますます野心的な試みをしているのは良いことだ
    • 実行時にtemperatureを0に固定して一貫性を保っていたのか気になる
    • 1兆パラメータモデルはいったいどこで動かしているのか気になる

  • 競争が増え、オープンソースが増えるのは良いことだが、私は巨大なモデルよりも小さなLLM＋エージェントの組み合わせが、どれほどコーディングや推論をうまくこなせるのかの方が興味深い
    ローカルや安価なクラスターで動かせるのが理想だ
    OpenAIの当初の目標は人類全体の利益だったはずだが、今では有料中心の構造に変わり、裕福な層だけが恩恵を受ける方向へ進んでいるのが残念だ

    • そうした小型モデルの実験はすでに数多く行われている
      ただし結果はまだ不十分で、効率的な小型モデルを作れるなら大型モデルが存在する理由はなかったはずだ
      もちろん新しいアイデアが出れば、この構図が変わる可能性はある
    • 私も以前は「最も賢いモデル」に執着していたが、実際に使ってみると小型モデルの方がはるかに速く同じ仕事を処理する
      だから今の目標は「自分の作業を解決できる最小のモデル」を見つけることだ
      高いベンチマークスコアは、むしろ過剰スペックと無駄の指標に見える
    • 「オープンソース」なら、学習データをダウンロードできて、エンドツーエンドで再学習可能なスクリプトが含まれているべきだ
      単に推論用バイナリだけを配布しながらオープンソースと呼ぶのは誤用だ
    • なぜ専門家単位の超小型モデルが出てこないのか理解できない
      たとえばGoしか使わない人には、Goモデルだけあればよい
      複数の専門モデルをメモリ内で切り替えながら使う構造なら、もっと効率的だと思う
      それでも大半は依然として巨大な汎用モデルを追求している
      私はCoPilotのサブスクリプションとOllama程度しか使ったことはないが、今後は1〜2B規模の多数モデルの組み合わせが主流になる気がする
    • 実際、大型モデルの進歩の大半は最適化とスケーリングのおかげだ
      しかしこうした技術はいずれ小型モデルの性能向上にもつながる
      DeepSeekは良い例で、大型モデルの革新が小型モデルにも利益をもたらす
      ちなみに今回のモデルはMoE構造で、一度に320億パラメータだけが有効化される

  • ここ数か月で、中国の4社（DeepSeek、Qwen/Alibaba、Kimi/Moonshot、GLM/Z.ai）が優れたオープンソースモデルを公開している
    米国や欧州の企業、さらにはMetaですらこうした動きがない。なぜだろうか？

    • もちろんOpenAIも8月にGPT-OSSを公開した
      Qwen 235も良いが、「オープンソース」の定義がオープンウェイトなのか完全公開なのかは、いまだに曖昧だ
    • 中国企業は最新GPUへのアクセスが制限されているため、オープンソースとして公開する戦略を取っている
      一方で米国企業は、莫大なGPU投資費を回収しなければならないため公開に消極的だ
    • もう一つの理由は、プライバシーへの懸念のため有料顧客が少ないことだ
      結局、無料公開以外に選択肢がない
    • MetaはDeepSeek以降、オープンウェイト戦略を放棄したように見える

  • 例はややチェリーピックされたものにも見えるが、それでも驚きだ
    OSSモデルをワークフローに組み込んだことがある立場として限界はよく分かるが、こうした結果はフロンティアモデルでさえ難しいレベルだ
    今後の進歩が楽しみだ

    • 個人的にはKimiはベンチマーク以上に**「賢く」感じられるモデル**だ
      おそらく米国の研究所のように、スコア合わせのチューニングをあまりしていないからだろう

  • OpenRouterの価格表を見ると、入力100万トークンあたり$0.60、出力$2.50だ
    この性能であれば同クラスのモデル比で4倍安いが、赤字でホスティングしているのか、それとも他モデルの利益率が高いのか気になる

    • 訓練コストを除けば、他のモデルは大きな利益を載せている
      詳しくはこの記事を参照
    • OpenRouterのオープンソースモデルはハードウェア原価レベルで課金している
      一部は補助金付きインフラで動いているため、実際には利益が出ている可能性もある

  • このモデルだけが最近**「スタッキング問題」**を人間のように解いた
    関連記事では、9個の卵で荷重を分散する概念を理解したことが核心だとしている

    • ただし、「その問題自体が学習データに含まれていた可能性もある」と指摘する人もいる
    • 別のユーザーは実際の対話例を共有し、モデルが何度かのフィードバックを経て物理的に可能な積み方を見つけていく過程を示していた
      最終的に「本 → ボトル → ノートPC → 釘」の順に並べ、現実的な答えを出した

  • Reasoning modelとは何なのか気になる
    単にシステムプロンプトでscratchpadトークンを動的に使うモデルを指すのか、それともそうした方式でファインチューニングされたモデルを指すのか混乱する

    • 後者だ。つまり、中間の思考過程を学習するようファインチューニングされたモデルを意味する
      単にプロンプトで真似するより、はるかに効果的だ
    • 通常は<think></think>のようなトークンの中で内部思考を行ってから回答するモデルを指す
      こうした形式はRLやフォーマットベースの報酬学習で訓練される

  • 非思考（non-thinking）バージョンの方が文章品質は最も高い
    他のフロンティア研究所とは異なる    新しいアプローチ    を試しているようで期待している

    • 私は逆に感じた。家庭で動かせる最大のモデルなので気に入っているが、過度に構造化された出力がかえって人工的だ
      以前のバージョンと大差なく、少し残念だ
    • それでもKimi K2はモデルとしての感触が洗練され完成度が高い

  • AWS BedrockやGoogle Vertexで**データレジデンシー（data residency）**を保証した形で使えるとよい

    • 以前のモデルと同じく重みが公開されているので、まもなくサードパーティーホスティングでも提供されそうだ
      Hugging Faceリンク
    • 非思考バージョンはすでにVertex AIに登録されている
      今回のモデルは逐次的なツール使用とneedle-in-a-haystack RAG性能を強調しており、実務で最も必要とされる部分だ
      ちなみにThoughtworksは最近**text-to-sqlを保留（Hold）**状態へ移した

  • すでにOpenRouterでも利用可能だ

    • ただし現時点ではレイテンシが大きい