Kimi-K3のライセンスは https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE で確認できる
連続する12か月間で関連会社合算の売上が2,000万ドルを超えるModel as a Service事業者は、商用利用の前にMoonshot AIと別途契約を締結しなければならない
既存条件には、月間アクティブユーザーが1億人以上、または商用製品の売上が2,000万ドルを超える場合、Kimiの名称表示が必要という条項もある
論文6ページによれば、tanhをそのまま使うのではなく、f_gate(b,x) = b * tanh(x / b) * sigmoid(x) と f_up(b,x) = b * tanh(x / b) を使っている
グラフ上では、xが約5より大きいときに表現力が高いGLUの利点と、0直前の値が持ち上がるSwiGLUの利点を同時に得ようとする設計に見える
1件のコメント
Hacker Newsのコメント
月間の推論コストに数百万ドルを使う大企業なら、約600万ドルのGB300ラックを自前で購入する価値がある
20.7TBのメモリのうちMXFP4モデル全体を載せるのに10%も要らず、総HBM帯域幅は576TB/sなので、平均10万トークン文脈のエージェント作業を6,000件以上、約30トークン/秒で並列実行できる
年間の減価償却費と電気代を150万ドル、平均稼働率を50%とすると、出力トークン100万個あたり0.6ドル未満になり、データも社内に残せて、ホスティングサービスより10倍以上安くなる
オープンウェイトモデルが今後も進歩し、AIが持続すると信じる企業にとって、ラックの直接購入を判断する明確な根拠が初めて生まれたことになる
すでに昨年ClaudeとGeminiに支払っていたトークン費用以上を節約できている
それでも非公開であるべきデータにはホスティング型LLMを信用しない
モデルとともに複数のオープンソース基盤も公開した
https://github.com/MoonshotAI/MoonEP
https://github.com/kvcache-ai/AgentEnv
https://github.com/MoonshotAI/FlashKDA
オープンソースとオープンウェイトモデルをAIの発展を遅らせる行為と見るのは納得しがたい
他の研究所が追いつけるのは最先端研究所のモデルを蒸留しつつ、その研究所が次世代に再投資できる収益の一部を奪うからだ
完全な加速を望むなら、二大研究所を国有化し、再帰的自己改善(RSI)に到達するまでManhattan Projectのように閉鎖的にすべきだと思っていたが、返信の反論を見て視点が大きく変わった
Kimi-K3のライセンスは https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE で確認できる
連続する12か月間で関連会社合算の売上が2,000万ドルを超えるModel as a Service事業者は、商用利用の前にMoonshot AIと別途契約を締結しなければならない
既存条件には、月間アクティブユーザーが1億人以上、または商用製品の売上が2,000万ドルを超える場合、Kimiの名称表示が必要という条項もある
2025年公開モデルはクリーンなMITライセンスだったが、2026年1月のmoonshotai/Kimi-K2-Thinkingから修正MITライセンスを使い始めた
モデルウェイトに著作権が成立するかどうかも不明確だ
まだ法廷で完全に検証されたわけではなく、訴訟コストも大きいため、雇用主はたいてい安全策としてライセンスを順守しようとするだろう
Thaler v. Perlmutterは著作権に人間の著作者が必要だと確認しており、米国著作権局の指針も、人間の創造的関与なしに機械が自動生成した著作物は登録できないと明記している
続く条項では、数学的原理、公式、アルゴリズム、方程式も著作権の対象外なので、モデルをアルゴリズムと見るなら結論は比較的明確だ
[1] https://media.cadc.uscourts.gov/opinions/docs/2025/03/23-523...
[2] https://www.copyright.gov/comp3/chap300/ch300-copyrightable-...
エージェントが知識集約分野とコーディング領域をウェブスケールで探索しながら継続的に拡張する自己進化型階層知識グラフというアプローチが興味深い
活性化関数が再びtanhに戻ってきたのを見ると、技術の流行は循環するようだ
f_gate(b,x) = b * tanh(x / b) * sigmoid(x)とf_up(b,x) = b * tanh(x / b)を使っているグラフ上では、xが約5より大きいときに表現力が高いGLUの利点と、0直前の値が持ち上がるSwiGLUの利点を同時に得ようとする設計に見える
知識グラフベースの作業合成は、多様な作業をどう漏れなく包含するかという長年の問題によく合うアプローチだ
新しい知識が生成される速度や、人間的・機械的な生成方式に関する理論研究にもつながりそうだ
独自のエージェント作業向けに微調整するなら、LoRA+DPO, GRPO のうち現時点でどれが最善なのか気になる
提供元の微調整APIを待つほうがよく、最初から強化学習やDPOのようなオフポリシー系の擬似強化学習に進む必要はなさそう
マルチ教師オンポリシー蒸留における教師モデルが何なのか気になる
数学・コーディングのように検証可能な領域は理解できるが、生物学まで含まれているのを見ると、より大きなモデルから蒸留する構造なのか疑問
教師モデルが、問題を解く生徒モデルの各トークンを各段階の生成確率で採点し、それを報酬または損失として適用して強化学習する蒸留方式だと理解している
マルチ教師は複数のモデルから蒸留するという意味に見え、最先端の非公開モデルも含まれうる
ただし対数確率が必要で、OpenAI API はこれを許可している一方で Anthropic は提供していないため、外部から推定する方法があるのかもしれない
この方式は生物学を含め、教師が知っているどの分野にも適用可能
複数の提供元で 推論価格がすべて同じ理由 が Moonshot とのライセンス契約のためなのか気になる
Kimi と競合する 米国製のオープンモデル を作るには何が必要なのか気になる
自発的に出てくるのは難しそうで、何らかの形で公開を促す圧力が必要だと思う
最近は Gemma が少なくとも100B級で出ることを期待していたが、Google はその規模のモデルを社内のみに保持しているようだ
どちらもオープンソースに友好的で、米国における Kimi のポジションを巡って競争することになるはず