Kimi K3のアーキテクチャ概要と設計ノート

 (sebastianraschka.com)
2 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有
  • 昨年公開された Kimi Linear を48Bから2.8Tへ拡張したプロダクションモデルで、現在公開されている重み付きモデルの中で最大規模
  • 新たに導入された LatentMoE は大規模な線形層をダウンプロジェクションして圧縮し、全体構造では通常のMoEとアテンションを推論効率重視の構成要素に置き換えている
  • アテンション残差(attention residuals) は層間の残差をアテンションスコアベースの重みで接続し、検証損失とダウンストリーム性能を一貫してわずかに改善する
  • アテンション残差により学習コストは約4%、推論コストは約2%増加し、すべてのRoPE層を削除して全体に NoPE を適用している
  • ネイティブ マルチモーダル対応 も追加し、Kimi Linearの大規模拡張と推論効率・残差経路の改善を同時に追求している

Kimi Linearから2.8Tへ拡張

  • Kimi K3は Kimi Linear を 48Bから2.8Tへ拡張したプロダクション版であり、現在公開されている重み付きモデルの中で最大規模である
  • Kimi Linearと比べて新たに追加された LatentMoE は、Nemotron 3 Ultraの方式と本質的に同じ
  • Nemotron 3やDeepSeek V4などに見られる流れのように、推論効率の改善 に焦点を当てている
    • 通常の MoE をLatentMoEに置き換える
    • 通常のアテンションの代わりにマルチヘッド潜在アテンションと Kimi Delta Attention を使用する

残差経路と位置情報

  • アテンション残差 は効率最適化ではなく 残差経路の改善 のための構成要素で、Kimi Linearにもすでに適用されていた
    • DeepSeek V4のmHC(manifold-constrained Hyper-Connections)が残差経路を広げるのとは異なり、アテンション残差は層の間の残差を接続する
    • 各残差の重要度や寄与度を示す アテンションスコア を接続重みとして使用する
    • 技術レポートによれば、検証損失とダウンストリーム性能は一貫してわずかに改善する一方、学習コストは約4%、推論コストは約2%増加する
  • すべてのRoPE層を削除し、NoPE、つまり 位置埋め込みなし を全層に適用している
    • 最近の他のアーキテクチャでは、スライディングウィンドウアテンション のようなローカルアテンションにはRoPEを、グローバル層にはNoPEを使う傾向があった
    • NoPEのみを使用した既存アーキテクチャもあるが、Kimi K3は確認されている範囲ではこれを全面適用した最初の フロンティア級モデル である

ネイティブマルチモーダル対応

  • Kimi K3にはネイティブ マルチモーダル対応 も追加された

関連記事

1件のコメント

 
GN⁺ 3 시간 전
Hacker News の意見

  • 西側の研究所トップたちが Kimi を単なる蒸留攻撃の産物として片付けようとしているのとは違い、実際には新しく独創的なアプローチを導入している

  • Sebastian Raschka は優れた大規模言語モデル研究者であり著者でもあり、彼の Substack は強くおすすめできる

    • 以前は知らなかったが、核心をすぐに突きながらも理解しやすく書いている点に感心した
    • 雑に生成された AI 要約があふれる分野では珍しい宝石のような存在なので、RSS フィードに追加した

  • 「興味深いことに、Kimi K3 はすべての RoPE 層をなくし、代わりにあらゆる場所で NoPE（No Positional Embeddings） を使っている」という
    これが機能するという事実自体が驚き。位置情報がなければトークンのスープにならないのか、2 番目のトークンが埋め込み空間に何かを蓄積する方法を学ぶだけで、自分が 2 番目だと分かるほどアテンションは精密なのか気になる

    • 因果マスキングによって、モデルは暗黙的な位置埋め込みを学習できる。Transformer ブロックが順列不変だという通念は実は正しくない
    • デコーダー専用の因果 Transformer には位置埋め込みが必ずしも必要ではないが、元の Transformer 論文のエンコーダーのような非因果モデルには確実に必要
      蓄積という直感も適切。アテンションヘッドの一部が残差ストリームの同じ領域に値を書き込み続ければ、入力トークンが増えるほどアテンションの合算で値が蓄積され、別個の位置エンコーディングがなくても一種のインデックスとして機能し得る
    • 線形層は FIR フィルタのような減衰を使い、自然に相対位置を提供する。そうすると完全なアテンション層は、距離に関係なく概念同士を結び付けることに集中できる
    • こうしたハイブリッドアテンションモデルでは、少なくとも状態空間モデル（SSM）層が再帰構造を通じて相対位置埋め込みを内包しているはず

  • あらゆる場所で NoPE を使っている点が興味深い。他のモデルはたいていローカル層に RoPE を残すが、ここでは Kimi Delta のような線形アテンション層が静かに位置処理を担い、それを省略できたようだ。最先端規模でも維持されるのか気になる

    • 名前とは違い、Kimi Delta Attention（KDA） は一般的な意味でのアテンションというより、学習時に効率よく並列化できる RNN に近い。小さな編集可能アテンションメモリのように動作する隠れ状態を持つ RNN である Gated DeltaNet を少し修正した構造
      RNN に似ているため、XYZ における X、Y、Z の順序を本質的に認識する。基本的な Transformer は順序のない集合を処理するので、項目間の位置を別途知らせる必要がある
      アテンション層ごとに KDA 層が 3 つあり、最初のアテンション層の前にも 3 つあるため、すべてのトークンは最初の実際のアテンション層に到達する前に、自分の位置情報を学習できる
      RoPE は情報を一部損なうため、このように省略できるなら有利。Gemma-4 も、グローバルアテンション層 1 つにつきスライディングウィンドウアテンション（SWA）層 5 つを置く、似た 5:1 構造。SWA は安価で性能は低いが局所情報を処理し、強力なグローバル層の間を埋める。このモデルでは KDA が同じ役割を担う
      Gemma では実際のアテンションである SWA にだけ RoPE が必要で、グローバルアテンションでは省略する。KDA はアテンションではないので位置埋め込みは必要ない
      これ以上どれほど最先端の規模であるべきかは分からないが、より大きな規模でも機能しない理由はない。パラメータが増えるほど、KDA 層が位置情報を伝えるのはむしろ容易になる
    • Kimi K3 はベンチマーク上、Opus と Fableに近い範囲にあり、これより大きい規模が最先端なのかは疑問。いずれも 2〜4 兆パラメータの範囲で、主な違いは学習品質とアーキテクチャだと予想する
    • やや奇妙な副作用もある。試したプロバイダーは、KV キャッシュを最新の入力プロンプトまでだけ保存するのではなく、1,024 トークンの固定増分ブロックとして実装していた。その結果、推論ごとにキャッシュミスした入力トークンが最大 1,023 個まで追加される