Kimi K3とペリカン・ベンチマークから今なお学べること

 (simonwillison.net)
1 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有
  • Moonshot AIが公開したKimi K3は、2.8兆パラメータを持つ同社最高性能モデルで、WebサイトとAPIで提供され、オープンウェイトは2026年7月27日までに公開予定
  • 独自ベンチマークではClaude Opus 4.8 maxとGPT-5.5 highをおおむね上回ったが、Claude Fable 5とGPT-5.6 Solには及ばず、Arena.ai Frontend Code arenaでは1位を獲得
  • 入力100万トークンあたり**$3**、出力100万トークンあたり**$15**で、中国のAI研究所製モデルの中では最も高価。ペリカンのSVGを1つ生成するのに、推論トークン13,241を含む出力16,658トークンと$0.25がかかった
  • 自転車に乗るペリカンのSVGテストは、今日重要なエージェントのツール呼び出しや長時間の対話におけるツール運用の信頼性を測れず、モデル間の総合性能比較には適していない
  • それでも同じ簡単なプロンプトを自分で実行すれば、APIの使いやすさとコスト、推論量、SVGの妥当性、空間認識、ビジョン性能、同一製品群内での世代ごとの改善を素早く確認できる

Kimi K3の公開と性能

  • Moonshot AIはKimi K3を、2.8兆パラメータを持つ同社最高性能モデルとして公開
    • WebサイトとAPIで利用可能
    • オープンウェイトは2026年7月27日までに公開予定
  • K3を初の「オープン3T級モデル」と呼び、2.8兆を3兆に丸めて分類
    • これまで最大級とされていたDeepSeek V4 Proは1.6兆パラメータ
    • K3は1兆パラメータのKimi K2.6より2倍以上大きい
  • 独自ベンチマークではClaude Opus 4.8 maxとGPT-5.5 highをおおむね上回ったが、Claude Fable 5とGPT-5.6 Solには劣った

外部評価と価格

  • Artificial Analysisの評価では、非公開の長期知識タスクで総合Elo 1,547を記録
    • Kimi K2.6より732ポイント高い
    • Claude Fable 5に次ぐ2位
  • タスクあたりのコストは**$0.94**で、GPT-5.6 Solの$1.04に近い
    • Claude Opus 4.8の$1.80の約半分
    • 他のオープンウェイトモデルよりは高価
  • Artificial Analysis Intelligence Indexでは、出力トークン使用量がK2.6より21%減少
  • Arena.ai Frontend Code arenaではClaude Fable 5を抜いて1位を獲得
  • API価格は入力100万トークンあたり**$3**、出力100万トークンあたり**$15**
    • Anthropic Claude Sonnet製品群と同水準
    • 中国のAI研究所が公開したモデルの中で最も高価
    • Kimi K2.6の$0.95/$4から大幅値上げ

ペリカンSVG生成実験

  • OpenRouterとllm-openrouterプラグインを使い、Generate an SVG of a pelican riding a bicycleというプロンプトを実行
  • 生成過程では、入力95トークン、出力16,658トークンを使用
    • 出力のうち13,241個が推論トークンだった
    • 総コストは$0.25
  • 画像入力にも対応しているため、生成したSVGに代替テキスト用プロンプトを適用
    • 分析結果では、赤いスカーフを巻いた白いペリカン、赤い自転車、車線と動きの表現、空・雲・太陽・鳥・草・花を正確に捉えた
    • 画像分析には入力822トークン、出力243トークン、$0.006がかかった

総合ベンチマークとしての限界

  • 自転車に乗るペリカンのSVGテストは、21か月前にモデル比較の難しさを皮肉るジョークとして始まったが、最初の1年間は実際のモデル品質と意外に高い相関を示していた
  • 現在では、その相関はほぼ失われている
    • GPT-5.6とClaude Fable 5が作ったペリカンは、GLM-5.2の結果より出来が悪い
    • しかしGLM-5.2をClaude Fable級のモデルと見るのは難しい
  • 研究所がこのテスト向けにモデルを訓練したという確信はない
    • 実際に最適化していたなら、もっと良い結果が出るはず
    • Geminiが「動物が乗り物に乗る」組み合わせ全般に最適化されている可能性は残る
  • 最大の限界は、今日のモデルで重要なエージェントのツール呼び出しをまったく評価できない点
    • 会話が長くなったときにツールを安定運用する能力も測れない
    • したがって、ペリカン結果をモデル間の総合性能比較に使うべきではない

実際に動かしたくなる実験

  • ペリカンテストは、新しいモデルを実際に呼び出させる強制装置として機能する
    • 結果が出たということは、少なくともプロンプト実行には成功したという意味
    • 公式APIがあればそれを使う
    • 128GBのM5 MacBook Proに収まるほど小さいオープンウェイトモデルは、llama.cpp、LM Studio、Ollamaでローカル実行する
    • 新しいAPIキーなしで公式APIプロキシを使えるため、OpenRouterをよく利用する
  • 多くの結果はLLM CLIツールで生成しており、その過程でプラグインが最新モデルに対応しているかも確認できる
  • 単一のSVGプロンプトだけでも、モデルのコスト・推論方式・入力処理の特性を明らかにできる

Kimi K3で見えた特性

  • 現在のK3の推論努力レベルはmaxのみで、3,417トークンの応答を作るのに推論トークン13,241個を消費した
    • 単純なペリカン生成のコストが**$0.25**に達し、負担が大きい
  • 短いプロンプトが入力95トークンとして計算された点は、隠れた入力の存在を示唆する
    • OpenAIトークナイザーでは同じプロンプトは10トークン
    • Anthropicのトークン計算機では、Opus 4.6で10トークン、Opus 4.7で30トークン、Sonnet 5/Fable 5で25トークン
    • K3にhiを送った場合でも86トークンと集計され、約85トークンの隠れたシステムプロンプトがある可能性がある
    • K3はそのシステムプロンプトの開示要求を拒否した
  • 生成したSVGを分析した代替テキストの品質から、ビジョン機能がうまく動作していることが分かる
  • K3には推論努力レベルが1つしかないが、他モデルでは同じプロンプトを複数の努力レベルで実行し、影響を素早く比較できる

ペリカンテストが今なお教えてくれること

  • 新モデルにプロンプトを送る**「Hello World」的な実践**として使える
  • 単純な作業に必要なコストと推論量のおおよその目安が分かる
  • 有効なSVGを出力できるか、基本的な幾何・空間認識があるかを確認できる
    • とくにノートPCで動く小型モデルでは、この能力がより重要
  • 同じモデル製品群のリリース同士なら、今でも比較する価値がある
    • K3のペリカンはKimi 2.5より明らかに改善している
  • モデルを実際に使ってみたことを共有でき、Hacker Newsでは新モデル関連のコメントにペリカン結果を貼るのが一種の伝統になっている

関連記事

1件のコメント

 
GN⁺ 3 시간 전
Hacker Newsのコメント

  • ペリカンベンチマークは、技術業界の採用問題をそのまま示している。実務とは無関係なのにペリカンを描かせて能力を評価する面接と大差ない

    • ペリカン描画10倍開発者・実務経験9年がない人らしい発言だ

  • 「自転車に乗るペリカンのSVGを生成せよ」というプロンプトが入力95トークンとして計算されたのは、ユーザー指定の推論強度を設定する際に、先頭トークンの前へ推論強度用プロンプトが挿入されるからかもしれない。DeepSeek-V4最大モードの例も参考になる: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • 真面目にSWE-bench-adversarial-pelican-genを提案する。SWE-benchに似ているが、5回の会話またはツール呼び出しごとに中断し、ランダムな動物のSVGを作ってから作業を再開させ、ツール出力のあちこちにペリカンSVG関連のコメントも差し込む方式だ
    コンテキストが80万トークンに達したら再びペリカンSVGを作らせ、ペリカンの品質と元の作業の完成度・効率をあわせて評価すればよい。SVGペリカンの襲撃の中でも問題を解けてこそ本物の実力だ

    • Codexで回せばたぶん5ドル程度だろうが、なぜ誰も実行してみたがらないのか考えてみるといい

  • Simonの結論どおり、このベンチマークの主な用途はどのモデルがより優れているかを断定することではなく、品質・コスト・速度の関係を見ることにある。最近Opus、Fable、Kimiを簡単に比較したところ、Kimiは5倍安いが2倍遅かった
    https://9gpyw4uxr2.evvl.io/

    • 真ん中の3つの結果は、プロンプトが求めた以上のものを作ってしまう典型的なGemini/Google式の失敗だと思う。K2.6も純粋なSVGではなくHTML+CSS+SVGを使っていたので、境界線上の失敗に近い
      ウェブサイト右上の「Expires in 6 days」も妙だ。たかだか数KBのデータを載せたページが、なぜ失効しなければならないのか分かりにくい

  • ブログやフォーラム、GitHubに自転車に乗るペリカンが何百件もあるのに、Simonがそれらを学習データにないと信じていることに驚く。うちの会社のブログはSimonのサイトよりトラフィックが1,000分の1だが、投稿は6か月後にはLLMに知られている

    • 既存のペリカン画像は今でもひどい。学習データに入っていても、より良いペリカン生成には役立たず、むしろ性能を下げるかもしれない
    • Simonもペリカンが学習データに含まれていた可能性を何度も認めており、公開していない別のテストも持っている。単にペリカンが好きなだけだ
    • ペリカンと自転車がそれぞれ学習データにあっても、この特定のベンチマークを学習したことにはならない
    • 自転車に乗るペリカン自体は特別な題材ではない。どのモデルにも、たとえばミミズとコマドリのボクシングのように、どんな組み合わせでもSVGで作らせることができ、ビジョンモデルかどうかに関係なく、より賢いモデルほど結果が良くなる強い相関が見られる
      最初はこの評価を見てあきれたが、学習データに絶対なさそうな組み合わせを試したあとで有効性を確認した
    • 昨年の学習データが枯渇しつつあるという報道の流れと、その主張がいかに滑稽だったかを思い出す

  • ペリカンベンチマークに対する私たちの答えはMacBook SVGベンチマークだ: https://playcode.io/blog/macbook-svg-benchmark

    • Terra xhighの結果は本当に良い
    • Fable 5が長く推論しすぎて、絵を描き終える前に出力予算を使い切ったというくだりは笑える

  • モデルごとにペリカンを1回しか生成しないのがずっと気になっている。同じモデルでも実行ごとに違う結果が出るので、どの結果を選んだかが「このモデルのほうが良い」という判断に影響しうる
    モデルごとに8回実行した結果を並べて見てみたい。近い2モデルなら、モデル間の差と同じくらい個々の実行のばらつきも大きいはずだ

    • 以前は3回実行してから最も良い結果を選んでいた。いずれは同じモデル系統のLLM審査員に最良の結果を選ばせ、次の対戦へ送る形に自動化したい
      以前にはELOスコア体系も作った: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      ベンチマーク自体は少し古びて見えるが、結果ギャラリーの需要は多いので、また時間をかける価値はある

  • 差は縮まりつつある。Kimi 3は米国モデルよりおよそ3か月遅れた水準で、4月末に出たGPT 5.5級のモデルに見える

  • 中国の研究所が、どうしてはるかに少ないはずの計算資源で3兆パラメータモデルを訓練できるのか気になる。米国の計算資源優位が続くなら、物理的には中国が永遠に追いつけないはずだが、今のところはうまくやっている

    • 実際には意味のある計算資源へのアクセス制限はないのかもしれない。中国企業はマレーシアのような輸出規制を受けない近隣国のGPUを使えるし、ByteDanceも公然とそうしていた: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Tencentも日本経由でアクセスしたという噂がある: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      シンガポールで買い集めて密輸する方法もあり、AI専用チップは高性能CPU・GPUより相対的に設計と生産が容易なので、中国独自設計が今後も遅れ続けると考える理由もない。結局は同じファウンドリを使える
    • Gamers Nexusが中国で直接取材した良い動画がある: https://www.youtube.com/watch?v=1H3xQaf7BFI
      輸出規制対象のGB202ベース5090とRTX 6000 Pro BlackwellはTSMCで製造されたあと中国でパッケージング・完成されるので、もともと抜け穴が大きい。NVIDIAと流通パートナーもシンガポールのような国では大した確認もなく販売しており、個人の運び屋が直接持ち込んでも、中国税関には中国領内で米国法を執行する理由がない
    • Huawei Ascendチップは4か月以上前にDeepSeek v4の訓練へ使われており、Huaweiはカーネルを他の中国研究所とも共有していた。中国には独自のDDR5ファウンドリもある
    • パラメータ数が同じでもモデルが同一とは限らないので、その数値が品質や計算要求量を表す指標には見えない。良いモデルを作るには、単にパラメータ数を増やすこと以上のものが必要だ
    • 中国が誰も知らなかった莫大な石油備蓄を放出して世界経済を救ったのだから、隠れた計算資源が多くても驚かない

  • ペリカンの品質と全体的なモデル品質が別々に動いている点が興味深い。一般能力は事前学習で形成されるので、高品質な事前学習ほどより良いペリカンを作り、強化学習はペリカン品質にほとんど影響しないだろうと予想していた
    しかし、GLM 5.2がGPT 5.6とClaude Fableを上回った結果はこの仮説と合わない。GLM 5.2がSVG生成を別途強化学習し、優れた性能を得た可能性くらいしか思いつかない