今はKimi K3の時代

 (stephen.bochinski.dev)
2 ポイント 投稿者 GN⁺ 1 일 전 | 1件のコメント | WhatsAppで共有
  • 日常的なコーディング作業で Kimi K3とClaude を併用した結果、出力品質と回答に必要なトークン数に実質的な差を見分けるのは難しかった
  • Kimi K3 APIは100万トークンあたり入力 $3、出力 $15で、それぞれ $10 と $50 のClaude最上位モデルより大幅に安い
  • Kimiは月額 $19から始まり、月額 $39 のコーディングティア も余裕がある一方、Claudeはエージェント作業中に使用量上限がすぐ尽き、月額 $20 プランではFableへのアクセスも維持できなかった
  • Semgrepのサイバーセキュリティベンチマークでは、制限付きのClaudeが一部の作業を拒否する間に GLM 5.2 がそれを実行して上回り、MITライセンスで公開され、最新のOpusより安価だった
  • 米国モデルにだけ適用される制限は米国顧客の選択肢を減らすだけで、海外のオープンモデルとの競争を止められず、品質は似ていて価格は低いKimi K3を前にClaudeへ支払い続ける理由は薄れている

Kimi K3とClaudeの品質・価格比較

  • Kimi K3 を一般的なコーディング業務でClaudeと併用したところ、同じ作業と出力品質、ほぼ同じトークン使用量を示した
    • オープンモデルは結果が粗かったり、同じ答えを得るまでにより多くのトークンを使うだろうという予想とは異なっていた
  • API価格 はKimi K3が入力100万トークンあたり $3、出力100万トークンあたり $15
    • Claude最上位モデルは同じ単位でそれぞれ $10 と $50
  • Kimiの有料プランは月額 $19 から始まり、月額 $39 のコーディングティアは同価格帯のClaude製品より使用量に余裕がある
    • Claudeのプランは使用量制限が厳しく、普通のエージェント作業の日でも昼前に許容量を使い切ることがある
    • Claudeは月額 $20 プランでFableへのアクセスを維持できず、これを無効にしてOpusへ切り替えたが、Kimiのティアには同じ条件がない

米国のAI政策とオープンモデル競争

  • 米国政府はFableのリリースを遅らせ、最終モデルにも複数の作業カテゴリを拒否する制限を適用した一方、中国の研究所による フロンティア級のオープンモデル はダウンロード可能で、米国政府の規制範囲外にある
  • Semgrepのサイバーセキュリティベンチマーク ではGLM 5.2がClaudeを上回った
    • 制限付きモデルは作業を拒否したが、オープンモデルはそれを実行し、この差が結果に影響した
  • GLM 5.2 はMITライセンスで公開され、自らをフロンティアモデルと称してはいないものの、実作業では最新のOpusより良い結果を出し、コストもはるかに低い
  • OpenAIの GPT-5.6 も政府の制限手続きを経たが、OpenAIは主力モデルを月額 $20 プランで提供できるため、Anthropicより余地がある
  • 今後、米国政府は自動車産業で使った 補助金・救済融資・保護関税 の方式をAIとオープンソースに適用する可能性がある
    • 官民協力により、米国内でのみ使われ国際的には競争できない国内モデルを支援できる
    • その結果、米国の利用者は最高品質や最安価格ではなく国内モデルを買わされ、最良のモデルを最良の価格で使えなくなるかもしれない

関連記事

1件のコメント

 
GN⁺ 1 일 전
Hacker News の意見

  • 蒸留によって同等の性能に到達したにせよ、最初から独自開発したにせよ、米国のフロンティア研究所の結末はそもそも決まっていた。蒸留は攻撃ではなく、フロンティア研究所も人類が書いた知識をモデルに蒸留してきたのだから、後発の研究所がそれをより安価なモデルへ圧縮するのは自然な流れだ。
    会話を保存して自社モデルの学習に使うことを現実的に防ぐ方法もないので、モデル企業よりハードウェア企業に投資するほうがよさそうだ。

    • それが当然だったというのは、後知恵による歴史修正に近い。蒸留はいまも活発な研究分野であり、現在のように簡単にモデルを蒸留できるという事実は興味深い成果であって、12か月前から当然視されていた結果ではない。
      わずか6か月前でさえ、モデル出力を学習データに使うと循環学習の破綻であらゆるモデルが失敗するという見方が多かったのだから、最初から明白だったかのように言うべきではない。
    • 蒸留が攻撃ではないという前提には強く同意するが、K3はFableやSolの蒸留版ではない。Fableは公開されて間もなく、Solは出たばかりで、Arenaのユーザー評価ではK3が一部領域でその2つを上回っている。
      API蒸留は、新しい領域での強化学習におけるコールドスタートを素早く乗り越えるのに有用な程度で、実際により重要なのは、モデルが学習する強化学習環境の品質と多様性だ。
    • 蒸留攻撃の影響はやや誇張されているように思う。いまやファインチューニング用データの大半は合成データであり、同じ内容を単純に繰り返すことはできないため、別のLLMが抜け漏れなくテーマを詳しく説明する教材を作成する方式に近い。
    • ほぼすべての市場は、「窃盗だけを禁じて他は自由」から、あらゆる調達に膨大な規制を求める方式まで、何らかの形で規制に依存している。
      米国はまだ中国のレアアース型の統制を選んではいないが、蒸留が広がれば、それをしない側もアクセス遮断や過度な統制といった規制コストを背負う可能性が高い。音楽の複製には寛容だったのに視覚芸術では激怒したように、これを窃盗と見るか通常の事業と見るかは結局、社会的合意にかかっており、大きなブレークスルーがなければ差は縮まっていくだろう。
    • Anthropicは、過去の会話へスクロールしたり、思考トークンやサブエージェントを確認したりすることすら難しくしている。全員を常に自社サービスへ戻らせる一方で、自分で井戸を掘る方法は学ばせない、というわけだ。

  • 予想よりはるかに早くこの地点に到達した。西側政府がオープンウェイトのフロンティアモデルへのアクセスを国家安全保障上のリスクと定義し、その使用をテロ行為に分類するなら、どんな世界になるのか気になる。
    Kimi K3が違法だと知りながら誰もが使っていたNapsterのようになるかもしれないし、近所の誰かがeBayの部品で作った地下室の8×5090マシンを従量課金で貸す、大麻のような地下市場が生まれるかもしれない。逆に統制が成功すれば、公開された選択肢は弱体化したCohereやMistralだけになり、中国に後れを取るAnthropicやOpenAIの「American Frontier」モデルに高い金を払わなければならない可能性もある。
    広告補助金を受けていたKindle Fireのように、最高入札者に影響力を売るKindle AIが登場し、タバコ会社のプロパガンダが学習パイプラインに入り、LLMが喫煙は健康に良いと言うような状況もあり得る。

    • 世界がデジタルブロックに分かれる新たな鉄のカーテンが生まれるということだ。交流の断絶が長引くほど、開かれたインターネットと科学は、互いに互換性のないエコシステムへ分裂する可能性が高まる。
      米国政府は最近、NSFの科学協力にWolf Amendmentに似た制限を発表し、管轄を軍事側へ移した。中国を排除しようとするPax Silicaに複数の国を引き込みつつ、同盟国には機能が制限された自国製品を押しつけようとしている。米国・EUのユーザーが法的不利益なしにカーテンの向こう側を利用できる、スイスやシンガポールのような中立地域が残るかもしれない。
      https://nitter.net/RnaudBertrand/status/2069574934972797089
    • 大容量RAMのMac Studioマシンが消えたのは、おそらく偶然だろう。
    • オープンソースモデルを違法化すれば、米国企業だけが不利になる。世界の他の地域はオープンソースを使い続け、米国企業に対して裁定機会を得ることになる。
    • 「西側政府」が具体的に米国を指しているのか気になる。米国ほど中国を懸念していない他の国々が、この問題を同じように心配する理由ははっきりしない。
    • 8×RTX Pro 6000でもVRAMは768GBしかないのに、K3をどう動かすのか分からない。

  • 普段すべてのモデルで試している作業を Kimi K3 に任せたところ、はるかに長く考え込み、19ドルプランの5時間分の使用量をほぼ使い切った。同じ作業を OpenAI の20ドルプランで実行すると数分しかかからず、使用量もほとんど減らなかった
    サブスクリプションの上限はトークンのように比較可能な数値を示さないため測定しにくいが、ささいな作業1つで実作業に使う分が消えてしまうほど窮屈な20ドル台のサブスクリプションは初めてだった。速度は遅く、タスクあたりのコストも高そうに見えたが、Gemini 3.5 Flash が勝手に作り込んだバグは見つけた

    • Kimi は絶えず自分を疑い、過度に長く考える傾向がある。小さな細部1つをめぐって「待て、実は……」のような段落を繰り返し、多くのトークンを消費する
      GLM 5.2 に JavaScript 約50行を Python へ移植させたときも、Web検索と再検討を繰り返して API コストが0.25ドルかかり、初回実行は失敗したが2回目には動作した。Claude Code/Fable ははるかに速かったが同じエラーを出しており、オープンモデルの過剰な自己検証が減るか、プロンプト手法が改善されることを望む
    • 100万トークンあたりの価格を基準にするのはやめる必要がある。表示されたトークン単価よりも実際に使用するトークン数のほうがコストに大きく影響するため、重要なのは知能に対するタスクあたりコストの曲線だ
      中国モデルはまだこの基準に達しておらず、効率性よりもベンチマークスコアの最大化に集中しているように見える
    • Kimi K3 は現在、推論強度を max のみサポートしているが、他の段階も近く提供する予定。ベンチマークの追跡記録には「待て、しかし……」のような後戻りと不確実性が多く見られ、GPT 5.6 と Fable の xhigh・max でも程度は低いが似た傾向があった
      低い推論強度がサポートされれば、トークン効率の悪さが改善される可能性がある
      https://platform.kimi.ai/docs/guide/use-thinking-effort
    • Claude Code/Fable に機能実装を任せたところ、約60分で100ユーロのサブスクリプションに含まれる5時間セッションの30%を使用した。その後、別ターミナルのクリーンなセッションで /code-review だけを実行したが、コード変更なしで使用量が99%まで跳ね上がり、残り1%では review.md すら作成できなかった
      普段のレビューは10〜20%を使うが、ときには15分で65〜69%が消えるなど、使用量の変動が非常に大きい
    • AI サブスクリプションの価格設定は奇妙だ。モデルごとに使用量が異なり、プロバイダーのインターフェースやモデルが任意に消費する不透明なトークンで測定され、さらに不透明な時間枠制限まで適用される

  • Kimi の有料プランで100万トークンのコンテキスト長が提供されるのは月79ドル以上からで、それ以下は25万6000トークンに制限される。年払い割引基準で月15ドルの最安プランでは、現時点で K3 自体をサポートしていない
    https://www.kimi.com/code/docs/en/kimi-code/models.html

    • API だけを使いたいが、DeepSeek で Reasonix/whale ツールと高いキャッシュヒット率を組み合わせると事実上ほぼ無料なので、他サービスへ移るのは容易ではなさそうだ

  • むしろ逆だと思う。Kimi K3 は2.8兆パラメータであり、ChatGPT 5.6 や Opus 4.8 の規模は公開されていないが同程度の可能性があり、Fable・Mythos は約10兆という噂がある
    100万トークンあたりの入出力価格は K3 が3ドル・15ドル、ChatGPT 5.6 Sol が5ドル・30ドル、Opus 4.8 が5ドル・25ドルで、大きな差はない。歴史的な転換点というより、競合が同じ性能に収束し、少し安く売っている程度だ。現在の K3 の重みも非公開なので、状況が変わるとは思えない

    • 公式発表によると、全モデル重みは2026年7月27日までに公開される予定
    • OpenAI が5時間制限をなくし、週間上限を頻繁にリセットした点まで考えると、Kimi が実効価格でも本当に安いのかは疑問だ

  • このスレッドでも Kimi の実際の有用性については評価が分かれている。個人的には Fable と 5.6 Sol より劣ると思うが、議論の中心は性能よりも米国政府の規制の動きに対する反発に近いように見える
    現状への怒りとフラストレーションから、Kimi がより優れていてほしいという願望も働いているようだ

    • K3 はかなり良く、Sol と Fable の間に置ける。Sol の UI デザイン能力は印象的ではないが、K3 はこの領域に強く、Fable は全体として最も速く一貫した性能を出す
      作業の種類と使い方に大きく左右されるが、K3 が米国の最先端モデルと同等ではないという評価は自分の使用経験とは合わない
    • DeepSeek のときの再現のように見える。v3 が出たときも米国企業は終わったという評価が相次いだが、結局すべてはそのまま続いた
    • フロンティアモデルはオープンウェイトモデルより6カ月以上先行しているという話を数え切れないほど聞いたが、今では事実ではない。したがって評価基準が移りつつある
    • 米国政府が今年 AI に関して行ったことは受け入れがたいので、そうした反応が出るのも理解できる

  • ここでいう「Claude」が Opus なのか Fable なのか、そして推論強度がどの段階なのかを明確にする必要がある

    • 「日常的なコーディング作業」で差が分からないという表現を見ると、成果物を見分けられるほど十分に理解していない作業を任せたという意味に聞こえる
    • 比較対象はFable High と K3 Highで、主な用途はゲーム開発だった。曖昧な視覚的バグの修正、シーンやモデルの外観変更、大きな機能追加などを任せた
      元の表現は不正確で、Fable や K3 を大半の時間使っているわけではなく、通常は範囲の小さい作業を処理させたあと自分でレビューしている

  • プライバシーポリシーも小さな問題ではありません。Kimi のサブスクリプションを使うと、やり取りがモデル学習に使われ、API 料金を払って直接 API を利用する場合に限って使わないと明記しています。これを信頼するかどうかは別問題です。
    OpenRouter に他のプロバイダーが登場するまで待ってから、信頼性を判断するつもりです。彼らを大きく信頼しないとしても、直接モデルを学習しないプロバイダーなら、データが学習に使われる可能性はより低いでしょう。

    • こうした懸念は、だんだん滑稽に見えてきます。入力の大半は、同じモデルが以前に作った出力と、「ミスなく直せ」のような雑に書かれた人間の命令にすぎないので、将来のモデルが良くなるなら学習に使っても問題ありません。
      ユーザーの99%は、心配するほどの特別な知的財産を扱っていません。
    • 趣味ユーザー全員がオープンウェイトモデルを使うとしても、企業向けのデータ非保持市場は米国企業に十分な事業機会を提供するでしょう。
    • このポリシーは利用を避ける理由になります。オープンウェイトのおかげで可能になる独立プロバイダーのサービスが出てくるまで待つつもりです。

  • これまでも結局はすべて蒸留でした。Suhail が言ったように、AI モデルの利益はほぼゼロにするべきです。
    人類のデータで学習したのだから、人類自身への贈り物であるべきであり、そうしてこそ少数者が人類を支配する事態を防げます。

    • 中国の巨大モデルをいまだに「蒸留版」としか見ないのは滑稽です。膨大なデータを利用しながら、検閲され性能が制限されたモデルにユーザーを縛り付けようとしていた米国のフロンティア研究所を襲う波を、多くの人はまだ認識していません。

  • オープンソースモデルはすでに最高レベルの商用モデル水準に達しています。最後のボトルネックはハードウェアですが、そのハードルも急速に下がっています。
    Kimi K3 を自宅で動かすのは依然として非常に高価ですが、手頃なハードウェアで動かせる有能な無料モデルはすでに数多くあり、この流れは今後も続くでしょう。