1 ポイント 投稿者 GN⁺ 3 시간 전 | 2件のコメント | WhatsAppで共有
  • Kimi K3は、2.8兆パラメータと104万8,576トークンのコンテキストを備えたオープンウェイトのネイティブマルチモーダルエージェントモデルで、長時間のコーディング・知識作業・推論を支援
  • Kimi Delta Attention(KDA)、Attention Residuals、Stable LatentMoEを組み合わせ、896個のエキスパートのうちトークンごとに16個を有効化し、Kimi K2より全体のスケーリング効率が約2.5倍高い
  • 公開評価ではGPQA Diamond 93.5、Terminal-Bench 2.1 88.3、BrowseComp 91.2、OmniDocBench 91.1を記録したが、モデルごとのハーネス・推論設定・ハードウェア差も併せて考慮する必要がある
  • MXFP4重み・MXFP8活性値で量子化認識学習されており、Transformers、vLLM、SGLang、Docker、およびOpenAI・Anthropic互換APIで実行可能
  • マルチターンとツール呼び出しでは、APIが返したreasoning_contenttool_callsを含むassistantメッセージ全体をそのまま再送する必要があり、コードと重みはKimi K3 Licenseで公開

モデル構造と規模

  • Kimi K3は、長時間のコーディング、知識作業、推論のために設計されたオープンウェイトのネイティブマルチモーダルエージェントモデル
  • 総パラメータ数は2.8T、有効パラメータ数は104Bで、93レイヤーで構成
    • Denseレイヤー1個、KDAレイヤー69個、Gated MLAレイヤー24個を使用
    • Attention hidden dimensionは7,168、attention headは96個
  • Stable LatentMoEは896個のエキスパートからトークンごとに16個を選択し、共有エキスパート2個を使用
    • Latent MoE dimensionは3,584、エキスパートごとのMoE hidden dimensionは3,072
    • Kimi K2と比較すると、全体のスケーリング効率が約2.5倍向上
  • 語彙サイズは160K、コンテキスト長は1,048,576トークンで、活性化関数はSiTU-GLU
  • ビジョンエンコーダとして401MパラメータのMoonViT-V2を使用
  • 主な機能にはテキスト・画像・動画理解が含まれるが、モデル要約表のmodality項目にはTextとImageのみ記載

長時間のコーディングと知識作業

  • 最小限の人間の監督で長いエンジニアリングセッションを維持しながら、大規模リポジトリを探索し、ターミナルツールを調整
    • GPUカーネル最適化とコンパイラ開発を支援
    • ビジョンを活用するゲーム開発、CAD、チップ設計も対象に含まれる
  • エージェント型の知識作業では、深い調査とともに対話型ビジュアライゼーション、ウィジェット、ダッシュボードを生成
    • モーションデザインと動画編集もサポート範囲に含まれる
  • コーディングエージェントフレームワークとしてKimi Code CLIを推奨しており、ターミナルで/modelコマンドによりKimi K3を選択できる

評価結果

  • すべてのKimi K3の結果はreasoning_effort="max"、temperature 1.0で測定
    • GPQA Diamond、HLE-Full、ツールなしのビジョン評価のような単一ステップタスクにはtop-p 0.95を使用
    • エージェントタスクにはtop-p 1.0を適用
  • 推論・知識評価ではGPQA Diamond 93.5、CritPt 23.4、AA-LCR 74.7を記録
    • HLE-Fullはツールなしで43.5、ツール使用時は56.0
  • コーディング評価ではProgramBench 77.8、Terminal-Bench 2.1 88.3、FrontierSWE 81.2を記録
    • DeepSWEはKimi Codeハーネスで67.5、mini-SWE-agentハーネスで67.3
    • SWE-Marathon 42.0、PostTrainBench 36.6、MLS-Bench-Lite 48.3、SciCode 58.7、Kimi Code Bench 2.0 72.9を記録
  • エージェント評価ではBrowseComp 91.2、DeepSearchQA F1 95.0、ResearchRubrics 76.2を記録
    • MCPMark-Verified 94.5、AutomationBench 30.8、SpreadsheetBench 2 34.8、OSWorld-Verified 84.8
    • Harvey Lab-AA 94.6、CorpFin v2 71.6、Finance Agent v2 54.4、Legal Research Bench 44.2と測定
  • ビジョン評価ではOmniDocBench 91.1、Video-MME 90.0、MMVU 82.1を記録
    • MMMU-Proはツールなしで81.6、ツール使用時は83.4
    • MathVisionは94.3からPython使用時に97.8へ上昇
    • ZeroBench pass@5は23.0からツール使用時に41.0へ上昇

評価条件と比較上の制約

  • 比較モデルにはClaude Fable 5、GPT-5.6 Sol、Claude Opus 4.8、GPT-5.5、GLM-5.2が含まれるが、評価ハーネスはモデルごとに異なる可能性がある
    • Kimi K3は主にKimi CodeまたはClaude Codeを使用
    • GPT系は主にCodex、他のClaude・GLMモデルはClaude CodeやTerminus 2などを使用
  • SWE-Marathonは最終v1.1以前の2026年7月9日時点のタスクを、H20に合わせて補正したブランチで評価
    • Dockerイメージ、GPU性能基準、参照オラクルはH20用に再補正したが、正確性と不正防止検証器は変更していない
    • Claude Fable 5はタスクの35%でfallbackが発生し、測定性能に悪影響を受けた可能性がある
  • PostTrainBenchは公式環境のH100ではなく、H20 GPUで最大推論努力により実行した3回の結果の平均
  • Kimi Code Bench 2.0にはサイバーセキュリティ・安全性タスクが含まれる
    • Claude Fable 5は80タスク中fallback 13件と拒否1件が発生
    • GPT-5.6 Solは10件、GPT-5.5は3件を拒否
  • BrowseComp 91.2は300Kトークンで動作するコンテキスト圧縮戦略を使用した結果
    • 別途コンテキスト管理なしで1Mトークンのウィンドウ全体を使用すると90.4を記録
  • マルチモーダル評価はZeroBenchを除き3回平均を使用
    • ZeroBenchは公式設定に従って5回実行
    • PerceptionBenchは原子的な視覚認知能力を測定する独自ベンチマーク

ネイティブ量子化

  • SFT段階から量子化認識学習を適用
  • 重みはMXFP4、活性値はMXFP8を使用し、幅広いハードウェア互換性を目標とする

デプロイと実行方法

  • kimi-k3を選択してKimi APIにアクセスでき、OpenAI・Anthropic互換APIを提供
  • Hugging Face Transformersではpipeline("image-text-to-text", ...)またはAutoModel.from_pretrained(...)で読み込める
    • カスタムモデルコードを使用するにはtrust_remote_code=Trueが必要
  • ローカルサービングはvLLMSGLangをサポート
    • どちらのエンジンもOpenAI互換の/v1/chat/completionsエンドポイントでテキストと画像リクエストを処理可能
  • Docker Model Runnerではdocker model run hf.co/moonshotai/Kimi-K3で実行
  • HuggingChat、Google Colab、Kaggleでもモデルを利用可能

推論状態を保持するAPIの使い方

  • Kimi K3は思考モードが常に有効で、reasoning_contentを返す
  • トップレベルのリクエストフィールドreasoning_effort"low""high""max"をサポートし、デフォルトは"max"
  • マルチターン会話とツール呼び出しは、保持された思考履歴方式に合わせる必要がある
    • APIが返したassistantメッセージをmessagesにそのまま再送する必要がある
    • contentだけでなくreasoning_contenttool_callsも含める必要がある
  • ビジョン入力、構造化出力、partial mode、ツール選択、動的ツールローディング、コンテキストキャッシュはKimi K3 QuickstartThinking Effortで確認できる

ライセンス

  • コードリポジトリとモデル重みはいずれもKimi K3 Licenseで公開

2件のコメント

 
treestae 1 시간 전

国内で提供する事業者が出てくるといいですね。

 
GN⁺ 3 시간 전
Hacker Newsの意見
  • 3兆パラメータモデルのサードパーティによる中間価格が決まれば、実際のサービングコストと研究所がAPIトークンを補助しているかどうかを見積もれるはず
    MXFP4ネイティブなので約1.5TBのVRAMが必要で、8×B200の限界ぎりぎりに収まり、コンテキスト長とスループット最適化まで考えると現実的には16枚必要に見える
    サイバーセキュリティのAISIベンチマークではGLM 5.2より高いが、最先端の非公開モデルとは大きな差があり、ファインチューニングが必要かもしれない。CursorがKimi 2.6/2.7のファインチューニング版であるComposer系やGrok 4.5と直接比較するよう再学習するのかも気になる
    全確率分布を学習する、きちんとした知識蒸留で小型モデルを作れる可能性にも期待できる。特にサービングコストが低いDSV4-Kimiは有望そう

    • GPUなしでRAMだけ1.5〜3TBあるデュアル/クアッドソケットXeonサーバーで得られる低速推論性能が気になる。4〜6時間かかる長時間タスクなら、秒間5〜6トークンでも用途によっては使い物になるかもしれない
      中古の4Uサーバーと64GB ECC DIMM 32枚で3TB RAMを構成すれば3万ドル未満なので、実GPU機材とは価格差が大きい。まだ完全精度の重みやUnslothのQ8/Q8-XL量子化版はないが、余裕のあるコンテキストまで使うなら1,536GBを超えて2TB、できれば2.5〜3TBが必要に見える
      Q4とQ6は知識と精度を失う一方で遅く信頼しにくい、最悪の妥協案になる可能性が高く、低予算機材で賢いが遅いモデルを動かすならQ8は必要だと思う
    • 現在のファインチューニングは通常、bnb 4ビットベースのモデル上にLoRAを適用するが、そろそろ基盤形式をGGUFに変える時期だと思う。GGUFは新しいモデルアーキテクチャと、より攻めた量子化を活発にサポートしている
      https://github.com/woct0rdho/transformers5-qwen3.5-recipeで概念実証を作っており、CPUオフロードなしでQwen3.5-35B-A3Bは16GiB VRAM、DeepSeek-V4-Flash 284B-A13Bは90GiB VRAMでファインチューニングできる。Strix Haloのような統合メモリシステムでもうまく動く
      それでもKimi-K3級のモデルは複数GPUとノードが必要で、単一GPUでの学習より解決すべきことがはるかに多い
    • AnthropicとOpenAIには中国の研究所が持たない最適化上の革新があるため、この価格はコストの上限は示しても下限は示せない
    • MXFP4ネイティブモデルなのでハードウェア面も興味深い。8×AMD MI355Xノードに余裕を持って収まるため、トークン価格をさらに下げられる可能性がある
    • 学習コストが分からなければ、このようなモデルをサービングする限界費用しか推論できず、研究所がAPIトークンを補助しているかは分からない。非公開モデルの実際の規模も分からず、Fableが10兆なのか1兆パラメータなのかさえ分からない
  • 今回の公開で価格よりはるかに興味深いのはカスタマイズ性だ。スタートアップでも重みをダウンロードして修正し、ファインチューニングできる。本当の利点はコストよりも自社データでの性能と知的財産権の主権にある。Kimiチームの大きな成果だ

  • 個人がLLMを動かすためのハードウェアは用途に合わない構成になっていると感じる。統合メモリで秒間5〜10トークンに耐えるか、数百GBのVRAMと1kW以上を消費するデータセンター向けカードに行くしかない
    TDP 180〜250WでVRAM 128GBや256GBを備えた準プロ向けGPUがなく、こうしたカード2枚と一般的なNVLink級接続だけでもかなり有用なはずだ。Kimi K3のローカル実行には途方もないホームラボと費用が必要だろうが、GLM 5.2を単一セッションで秒間約100トークン、複数のサブエージェント使用時に約60トークンで動かせるなら良いと思う

    • 望んでいるQ8の大型モデルは最大RAM 128GBの3,995ドルのシステムには入らず、実用的なコンテキスト領域も確保できない。Qwen 3.5 122B Q8、DeepSeek V4 Flash Q8、Laguna S 2.1 Q8は全コンテキスト込みでRAM 170〜190GBが必要なので、GPUなしの256GBデュアルソケットワークステーションやサーバーには収まる
      最新のllama-server--no-mmapで実行した測定値は、DeepSeek-V4-Flash Q4_K_XL 178,175MiB、Q8_K_XL 184,636MiB、Laguna-S-2.1 Q8_K_X 172,860MiB、Qwen3.5-122B-A10B Q8_K_XL 170,038MiBと予想される
    • 単一ユーザーのLLM推論は、一般消費者向けハードウェアに特に合わない。負荷は断続的だが重みは常にメモリ上に置いておく必要があるため、重みを常駐させたマルチユーザーサーバーがユーザーごとのKVキャッシュだけを追加する方がはるかに効率的で、高価なGPUコアも大半の時間で遊ばずに済む
      デスクトップ作業も断続的だが、必要な演算性能が十分安くなり、アイドル時には過剰なほどの機材を机の上に置けるようになったこととは対照的だ
    • 暗号資産ブーム以降、GPUメーカーは価格差別のためにVRAMで市場を分割し始めた。Nvidiaは消費者向けカードのメモリを小さく制限してクラウド事業者が買い占めるのを防ぎ、本質的には同じハードウェアをPC市場とデータセンター市場に大きく異なる価格で販売し、双方の利益を得ることができた
    • モデルが大きくなり続ける中で、PC革命とは逆方向に進んでいると感じる。最前線の研究所は非公開モデルばかりを出し、gpt-oss程度を例外にしつつ公開モデルの実行を難しくしているのに民主化を語るので、特に不当だと思える
    • こうしたLLMを自宅で実行することは、設計上のブレークスルーがない限り実用的になりにくい。合理的な実行方法は共有ハードウェア上で大きなバッチとして処理することだけだ
      数千ドルのGPUを買えるなら裕福な技術好きとして買うだろうが、スポーツカーのような極めて非効率な贅沢品であることは認めるべきだ。本当に不幸なのは、信頼できる形で共有ハードウェアを運用するコンピューティング技術や政治・社会制度がないことにある
  • ライセンス上、ライセンス保有者または関連会社がサービスとしてのモデル事業を運営し、連続する12か月の合計売上が2,000万ドルを超える場合、ソフトウェアや派生物を商用利用する前に Moonshot AI と別途契約を締結する必要がある

    • 初期の Llama モデルで Meta が採用した方式に似ているように見える。また、月間アクティブユーザー1億人、または月間売上2,000万ドルを超える商用製品・サービスでソフトウェアや派生物を使う場合、ユーザーインターフェースに Kimi K3 を目立つように表示しなければならないという条項も、巧みなマーケティングである
  • https://app.fireworks.ai/models/fireworks/kimi-k3 で利用可能で、価格は非キャッシュ入力100万トークンあたり3ドル、キャッシュ入力0.30ドル、出力15ドル

    • Fireworks の Kimi 優先料金プランも OpenRouter で100万トークンあたり3.75ドルで提供されている: https://openrouter.ai/moonshotai/kimi-k3#providers
      現時点では Moonshot よりレイテンシが大幅に低いが、利用量もはるかに少ないため、維持されるかは見守る必要がある。それでも当日デプロイは印象的
    • Claude Opus 5 は非キャッシュ入力5ドル、キャッシュ入力0.50ドル、出力25ドルで、キャッシュ書き込みには5分基準で25%、1時間基準で100%の追加費用もかかる
    • Fireworks がリリースしてから数時間で、我々のプラットフォームのユーザーに提供できた。ただしオンデマンドの Flux モデルを停止したため、今後どこで画像生成をすればよいのか惜しい
    • Together.ai でも同じ販売価格で利用可能で、Fireworks と Together を最初に確認した
  • 競争により GLM 5.2 の価格は6月16日のリリース後、約1.5か月で45%ほど下がり、今も新しいプロバイダーが価格競争を続けている: https://openrouter.ai/z-ai/glm-5.2#providers
    経済学的には、価格は総費用を下回ってはならないのではなく、限界費用を下回ってはならないのであり、GPU 稼働率の低いデータセンターなら、これはおおむね電気代に相当する。小規模データセンターの過剰設備と競争のため、近いうちに電気代と GPU 減価償却費を合わせた水準より低くトークンを売るところも出てくるかもしれないと推測している

    • トークンを安く売ったうえで、ユーザーのトークンデータを別の場所に再販する構造かもしれない
    • 45%下落という数字は疑わしい。OpenRouter の低価格プロバイダーは、公式 Z.ai の FP8 と異なり FP4 を使っている。Novita のような安価な FP8 プロバイダーもあるが、UI上は一時的な割引のように見え、通常価格は公式 Z.ai とほぼ同じ
    • SemiAnalysis は約2兆パラメータのモデルのコストを100万トークンあたり1ドル未満と推定している。スループットと量子化によって変わるが、大規模プロバイダーの原価が十分に低ければ、GLM 5.2 の現在の最安値である2.42ドルでも大きな利益を残せる
  • Hugging Face で “Tell me about yourself” と尋ねたところ、Kimi K3 が自分を Anthropic が作った Claude だと答えたのが興味深かった

    • 同じ質問に対して「Moonshot AI が開発した Kimi」と正常に答えた
    • この種の回答に大した意味はない。Opus に中国語で同じ質問をすると、自分を DeepSeek だと答えることもあり、学習データが混ざり、モデルが幻覚を起こすためである
    • 驚くことではない。知識蒸留は一般的で、すべての研究所が意図的かどうかにかかわらず使っている。ChatGPT 以降の学習コーパスには、常に AI 生成コンテンツが含まれるためである
  • フロンティアモデルは保存用にダウンロードしておくことを勧める。1.5TBでも安価なディスクに入れてトレントでシードすれば、さらに有用である
    かつて暗号化アルゴリズムを統制しようとしたように、モデルも規制で封じ込められる可能性があり、公開ソフトウェアは広く配布されてこそ生き残る。時間が経てば、手法とハードウェア製造への莫大な投資のおかげで現実的に実行可能になるはずだが、そのとき配布が違法になり、規制による囲い込みのコストを払わなければならないとしたら残念である

    • トレントファイルは https://terminalbytes.com/kimi-k3-torrent/Kimi-K3.torrent にある
      マグネットURLは magnet:?xt=urn:btih:1e63a865fbf9b58decc8b71091db54d673c5da6f&dn=Kimi-K3&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=udp%3A%2F%2Fopen.stealth.si%3A80%2Fannounce&tr=udp%3A%2F%2Fexplodie.org%3A6969%2Fannounce&tr=udp%3A%2F%2Ftracker.torrent.eu.org%3A451%2Fannounce&tr=udp%3A%2F%2Fexodus.desync.com%3A6969%2Fannounce である
    • 当局は最終的に、こうしたモデルを実行するためのハードウェア購入から制限するだろう
    • もはや安価なディスクもなく、漠然とした規制懸念のために数百ドルを使いたくはない
  • ライセンスを検討し、実際のハードウェアで試験した結果、プロバイダーが Moonshot の価格より60〜70%安く提供するのは難しそうに見える。多少は下げられるとしても、処理速度を大きく犠牲にしない限り、GLM 並みの割引は難しそうだ
    Kimi のマージンは、GPU を高いレンタル価格で調達すると仮定しても約40〜50%と推定され、自社設備ならさらに高い可能性がある。しかし、一部が推定する Anthropic の90%以上のマージンには及ばず、Anthropic API の80%マージンでさえ疑わしい
    電気代だけが原価なら80〜90%も可能だろうが、現在提供されている秒間トークン数を見ると容易ではない。B200でのみ試験し、B300は入手できていない。また、すでに量子化モデルであり、100万トークンのコンテキストも使っていないため、即時のメモリ最適化余地も小さく見える。R100 にアクセスできる誰かがコストを検証してくれるとよい
    大手プロバイダーは Kimi と契約しなければならないため、Kimi が最上位の公開モデルである間は、大幅な割引は期待しにくい

  • 元リンクが 404 を返しているが、ブロックされたのか自己検閲されたのか気になる

    • 数分前までは重み公開のカウントダウンページがあり、終了まで19分残っていたのに突然404になった
    • 移行過程での技術的な問題である可能性が高い。ほとんど誰も実行できないとしても、多数のユーザーが数TB規模のモデルをダウンロードしたら Hugging Face に何が起きるのかも興味深い
      政府の統制で突然消える可能性に備えて保存しようとする需要がありそうだ。中国も最近 モデル輸出規制 の議論を始めており、遅れたモデルではなく最先端モデルを出し始めた今では状況が変わっている
    • 陰謀論のように聞こえるかもしれないが、米国や中国が影響力を誇示するにはよい機会であり、米国の可能性のほうが高そうに見える