1 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有

1件のコメント

 
GN⁺ 3 시간 전
Hacker Newsのコメント
  • 月間の推論コストに数百万ドルを使う大企業なら、約600万ドルのGB300ラックを自前で購入する価値がある
    20.7TBのメモリのうちMXFP4モデル全体を載せるのに10%も要らず、総HBM帯域幅は576TB/sなので、平均10万トークン文脈のエージェント作業を6,000件以上、約30トークン/秒で並列実行できる
    年間の減価償却費と電気代を150万ドル、平均稼働率を50%とすると、出力トークン100万個あたり0.6ドル未満になり、データも社内に残せて、ホスティングサービスより10倍以上安くなる
    オープンウェイトモデルが今後も進歩し、AIが持続すると信じる企業にとって、ラックの直接購入を判断する明確な根拠が初めて生まれたことになる

    • 10万7,000ドルのサーバーでKimi 2.8を動かし、ほとんどの作業で毎秒およそ5万トークン以上を処理している
      すでに昨年ClaudeとGeminiに支払っていたトークン費用以上を節約できている
    • 運用を担うDevOps人材を2〜3人雇うと、40万〜70万ドルが追加でかかり、障害対応や保守もすべて自社責任になる
      それでも非公開であるべきデータにはホスティング型LLMを信用しない
    • 液冷と超高密度電力設備を備えたスペースも必要なので、一般的なコロケーション施設や社内サーバールームでは対応が難しい
    • 600万ドルのラックと基盤設備を買える企業なら、適用される商用ライセンス条件まで考慮する必要があり、計算は単純ではない
  • モデルとともに複数のオープンソース基盤も公開した
    https://github.com/MoonshotAI/MoonEP
    https://github.com/kvcache-ai/AgentEnv
    https://github.com/MoonshotAI/FlashKDA
    オープンソースとオープンウェイトモデルをAIの発展を遅らせる行為と見るのは納得しがたい

    • むしろ発展を遅らせる行為だと考えていた
      他の研究所が追いつけるのは最先端研究所のモデルを蒸留しつつ、その研究所が次世代に再投資できる収益の一部を奪うからだ
      完全な加速を望むなら、二大研究所を国有化し、再帰的自己改善(RSI)に到達するまでManhattan Projectのように閉鎖的にすべきだと思っていたが、返信の反論を見て視点が大きく変わった
  • Kimi-K3のライセンスは https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE で確認できる
    連続する12か月間で関連会社合算の売上が2,000万ドルを超えるModel as a Service事業者は、商用利用の前にMoonshot AIと別途契約を締結しなければならない
    既存条件には、月間アクティブユーザーが1億人以上、または商用製品の売上が2,000万ドルを超える場合、Kimiの名称表示が必要という条項もある

    • Kimi 2.6も同様のライセンスを使っており、https://huggingface.co/moonshotai/Kimi-K2.6/blob/main/LICENS... K2までさかのぼるようだ
      2025年公開モデルはクリーンなMITライセンスだったが、2026年1月のmoonshotai/Kimi-K2-Thinkingから修正MITライセンスを使い始めた
    • そもそもこのライセンスが何に適用されるのか疑問だ
      モデルウェイトに著作権が成立するかどうかも不明確だ
    • 米国では、機械学習モデルのウェイトは確率的勾配降下法、期待値最大化、遺伝的アルゴリズムのような自動最適化プロセスの産物なので、著作権の対象ではないという解釈が可能だ
      まだ法廷で完全に検証されたわけではなく、訴訟コストも大きいため、雇用主はたいてい安全策としてライセンスを順守しようとするだろう
      Thaler v. Perlmutterは著作権に人間の著作者が必要だと確認しており、米国著作権局の指針も、人間の創造的関与なしに機械が自動生成した著作物は登録できないと明記している
      続く条項では、数学的原理、公式、アルゴリズム、方程式も著作権の対象外なので、モデルをアルゴリズムと見るなら結論は比較的明確だ
      [1] https://media.cadc.uscourts.gov/opinions/docs/2025/03/23-523...
      [2] https://www.copyright.gov/comp3/chap300/ch300-copyrightable-...
    • ダウンロードできる点はまだましだが、この条件では真のオープンウェイトやオープンソースとは呼びにくく、残念だ
    • ライセンス違反者をどう見つけて訴訟対象にするのかも疑問だ
  • エージェントが知識集約分野とコーディング領域をウェブスケールで探索しながら継続的に拡張する自己進化型階層知識グラフというアプローチが興味深い

  • 活性化関数が再びtanhに戻ってきたのを見ると、技術の流行は循環するようだ

    • 論文6ページによれば、tanhをそのまま使うのではなく、f_gate(b,x) = b * tanh(x / b) * sigmoid(x)f_up(b,x) = b * tanh(x / b) を使っている
      グラフ上では、xが約5より大きいときに表現力が高いGLUの利点と、0直前の値が持ち上がるSwiGLUの利点を同時に得ようとする設計に見える
  • 知識グラフベースの作業合成は、多様な作業をどう漏れなく包含するかという長年の問題によく合うアプローチだ
    新しい知識が生成される速度や、人間的・機械的な生成方式に関する理論研究にもつながりそうだ

  • 独自のエージェント作業向けに微調整するなら、LoRA+DPO, GRPO のうち現時点でどれが最善なのか気になる

    • まずは LoRA+SFT が適しているが、モデルが大きいためコスト負担はかなり大きいはず
      提供元の微調整APIを待つほうがよく、最初から強化学習やDPOのようなオフポリシー系の擬似強化学習に進む必要はなさそう
  • マルチ教師オンポリシー蒸留における教師モデルが何なのか気になる
    数学・コーディングのように検証可能な領域は理解できるが、生物学まで含まれているのを見ると、より大きなモデルから蒸留する構造なのか疑問

    • https://thinkingmachines.ai/blog/on-policy-distillation/ を引用している
      教師モデルが、問題を解く生徒モデルの各トークンを各段階の生成確率で採点し、それを報酬または損失として適用して強化学習する蒸留方式だと理解している
      マルチ教師は複数のモデルから蒸留するという意味に見え、最先端の非公開モデルも含まれうる
      ただし対数確率が必要で、OpenAI API はこれを許可している一方で Anthropic は提供していないため、外部から推定する方法があるのかもしれない
      この方式は生物学を含め、教師が知っているどの分野にも適用可能
    • 教師は他のモデルを指す
  • 複数の提供元で 推論価格がすべて同じ理由 が Moonshot とのライセンス契約のためなのか気になる

  • Kimi と競合する 米国製のオープンモデル を作るには何が必要なのか気になる

    • 米国の大手研究所による最近の大規模公開モデルは、約1年前の2025年夏の GPT-OSS-120b が最後のようだ
      自発的に出てくるのは難しそうで、何らかの形で公開を促す圧力が必要だと思う
      最近は Gemma が少なくとも100B級で出ることを期待していたが、Google はその規模のモデルを社内のみに保持しているようだ
    • MSL や SpaceXAI が次世代の大型モデルの1つを オープンソースで公開する可能性 は高そう
      どちらもオープンソースに友好的で、米国における Kimi のポジションを巡って競争することになるはず
    • 中国が単にモデルを蒸留して2週間で複製するという通説が事実なら、米国も 2週間以内に複製モデル を出せるはず
    • Inkling もおおむね競争可能な範囲にある