GPT-5.6、Grok 4.5、Claude、Muse Sparkで同じアプリを4本作った結果

 (tryai.dev)
2 ポイント 投稿者 GN⁺ 4 시간 전 | 1件のコメント | WhatsAppで共有
  • 12モデルにレイキャスター迷路、3Dルービックキューブ、計算機、Conway’s Game of Lifeを作らせた結果、GPT-5.6 Sol と Claude Fable 5 が複雑な課題で首位を分け合った
  • モデルごとに課題別で 各5回試行 し、成功回数・コスト・時間と全成果物を公開したが、科学的評価ではなく生成物を直接見た主観的比較という限界がある
  • レイキャスターでは GPT-5.6 Sol、ルービックキューブでは Claude Fable 5 がそれぞれ 5/5 を記録した一方、Claude Opus 4.8 と GPT-5.6 Luna はキューブで 0/5 に終わり、モデル・課題ごとの差 が大きかった
  • オープンウェイトモデル は複雑または新しい課題で最上位モデルとの差が見られたが、サンプルコードが豊富な Game of Life では Qwen 3.7 Plus と GLM-5.2 がはるかに低コストで良い結果を出した
  • Grok 4.5 は一部課題で Claude Opus 4.8 級の安価な代替となり、Muse Spark 1.1 もオープンウェイトモデルより総じて良かったが、最新・最高価格のフラッグシップがすべての課題で自動的に勝つわけではなかった

比較方法と12モデル

  • 以前の比較へのフィードバックを受け、規模を 12モデル・4アプリ・課題ごとに5回試行 へ拡大
  • 1回の結果だけでは評価しにくいというフィードバックを受け、課題ごとの 成功回数と好ましい結果 を別途記録し、実行ごとのばらつきを確認できるよう全試行を公開
  • 生成結果を観察した 主観的比較 であり、客観的または科学的な判定ではない

Doomスタイルのレイキャスター迷路

  • WASD移動、回転、奥行きに応じた壁の陰影、床・天井、衝突処理を備えた一人称迷路を作らせた
  • 視覚的完成度より、実際に 迷路内を移動して回転できるか のみで成功可否を判定
  • GPT-5.6 Sol は 5/5、コスト $1.35、120秒を記録し、GPT-5.5 より一貫性がありゲームの細部描写も豊かで、最良の結果と評価された
    • GPT-5.6 Luna も 5/5、$0.15、23秒だったが、結果の品質は GPT-5.5 より低いと評価された
    • GPT-5.6 Terra は 3/5、$0.44、39秒で、細部描写は良かったが一部結果では歩けなかった
  • Grok 4.5 は 5/5、$0.27、62秒で、価格に対して実用的な代替だった。GPT-5.5 は 4/5、$1.44、138秒を記録
  • Claude 系列は期待ほど振るわなかった
    • Claude Opus 4.8 は 4/5 で一貫していたが、結果は単調だった
    • Claude Fable 5 は 3/5 で良い結果を作ったものの、一貫性が低かった
  • オープンウェイトモデルでは Qwen 3.7 Plus と Kimi K2.6 がそれぞれ 2/5、DeepSeek V4 Pro は 3/5 を記録
    • GLM-5.2 は詳細な画面をレンダリングしたが、キャラクターが一度も動かず 0/5 に終わった
  • Muse Spark 1.1 は 2/5 だったが、動作した結果は Fable・Sol に近く、Grok・Opus より良いと評価され、予想外の健闘を見せた

3Dルービックキューブ

  • 色付きの 3D キューブと Scramble、Solve ボタンを作り、回転を画面上でアニメーション表示させた
  • シャッフルと解決のアニメーションがどちらも滑らかに動作し、エラーや 色の変化がないこと を成功条件とした
  • Claude Fable 5 が 5/5、$2.03、92秒で、唯一5回すべてをきれいに成功させた
    • Claude Opus 4.8 はすべての結果に小さな不具合や色の変化があり、0/5 に終わった
  • GPT-5.6 Sol と Terra はそれぞれ 4/5 を記録
    • Sol は動作した結果の品質は高かったが、奇妙なアニメーションや全面が黒くレンダリングされた結果があった
    • Terra はシャッフルのアニメーションが不自然だったが、GPT-5.5 よりはやや良かった
    • Luna は最初は正常に見えることが多かったが、シャッフルを始めるとすぐ破綻し 0/5 だった
  • GPT-5.5 は 4/5 だったが、色のちらつきと滑らかでない回転があり、Grok 4.5 は単純だが良い結果で 3/5 を記録
  • Qwen 3.7 Plus、Kimi K2.6、DeepSeek V4 Pro はそれぞれ 1/5、GLM-5.2 は 0/5 だった
  • Muse Spark 1.1 は 2/5 でオープンウェイトモデルより一段良かったが、価格を考えると Grok を選ばない理由は乏しいと評価された
  • レイキャスターで優勢だった GPT 系列が予想以上に苦戦する一方、Claude は Fable が成果を牽引し、課題ごとの逆転 が見られた

計算機

  • 数字・演算子・クリア・イコールのボタン、正しい演算子優先順位、実際の計算機らしい外観を要求
  • (((5 × 5) − 100) / 10) のような基本計算で 演算順序と結果表示 を確認しており、包括的な機能検査ではなかった
  • Claude Opus 4.8 と Claude Fable 5 はともに 5/5 を記録
    • スタイル面では Fable の結果が最も好まれた
  • Grok 4.5 は 5/5 で単純かつ一貫しており、GPT-5.6 Luna も 5/5 で Grok に近い体験を提供した
  • GPT-5.6 Sol は 5/5 だったが、過剰なスタイルや 3D 表現を試みたことで、すっきりして一貫した計算機体験を損ねた
    • GPT-5.6 Terra と GPT-5.5 はそれぞれ 4/5 で、GPT-5.5 は不要なボタンや切れた 3D 表現を作ることもあった
  • Muse Spark 1.1 は 5/5 で Grok 4.5 に近い水準だったが、一部結果ではボタンの順序や配置が不自然だった
  • オープンウェイトモデルでは Qwen 3.7 Plus が $0.04、12秒で 4/5 を記録したが、1つの結果で負数を扱えなかった
    • DeepSeek V4 Pro は 3/5 で、数字の順序ミスや結果未表示があった
    • GLM-5.2 は 2/5 だったが、成功した結果の品質は良かった
    • Kimi K2.6 は負数を扱えず 0/5 とされた
  • 単純な GPT モデルは追加修正なしでそのまま動作し、複雑な視覚効果を加えた結果より 基本機能重視の実装 のほうが良い体験を提供した

Conway’s Game of Life

  • グリッドキャンバス、Play、Pause、Step、Randomize、Clear、セルのクリック切替と世代アニメーションを実装させた
  • この課題には別途の 5回成功判定 を適用せず、コスト・時間と全体的な印象のみを比較
  • Grok 4.5 は良い結果を出し、課題自体が単純で公開サンプルコードも十分あるため、オープンウェイトモデルも非常によくこなした
  • Qwen 3.7 Plus は $0.04、11秒、GLM-5.2 は $0.10、121秒で低コストに良い結果を出し、このタイプに適していると評価された
  • 複雑な他課題ではオープンウェイトモデルが引き続き苦戦していたため、Game of Life の結果を 一般的な性能として拡大解釈するのは難しい
  • そのほか主なコスト・時間は、Grok 4.5 が $0.14・38秒、GPT-5.6 Luna が $0.13・18秒、Terra が $0.36・25秒、Sol が $0.99・62秒、Muse Spark 1.1 が $0.32・98秒だった

短い応答の速度とコスト

  • 短いプロンプトでは GPT-5.6 系列が最も速い応答開始時間を記録
    • Luna は 1.0秒・97 tok/s・$0.001
    • Terra は 1.5秒・62 tok/s・$0.001
    • Sol は 1.8秒・45 tok/s・$0.003
  • Qwen 3.7 Plus は 2.1秒・204 tok/s・$0.001 で非常に安価かつ高速、Grok 4.5 は 3.0秒・112 tok/s・$0.003、Muse Spark 1.1 は 3.1秒・125 tok/s・$0.002 だった
  • Claude Opus 4.8 は 2.5秒・44 tok/s・$0.004 だったが、Claude Fable 5 は 6.6秒・30 tok/s・$0.01 で、より遅く高価だった
  • DeepSeek V4 Pro は 9.3秒・37 tok/s・$0.001、GLM-5.2 は 7.0秒・58 tok/s・$0.001 で、応答開始が遅かった
  • 一部のオープンウェイトモデルは回答全体を一度に出力して 400 トークン上限に達したため、表示された tok/s は実際のデコード速度ではなく 上限値 である

SVGボーナス課題

  • ライブラリなしで一度に SVG を生成させ、5件の結果のうち有効な SVG を優先したうえで、最も詳細な結果を選択
  • 馬が宇宙飛行士を乗せている場面では Claude Fable 5 が品質とユーモアの両面で良い結果を出した
    • GPT-5.6 系列は馬と宇宙飛行士をきれいにレンダリングできず、期待ほど振るわなかった
    • Grok 4.5 も良い結果を作った
  • Elon Musk と Jeff Bezos が海上着陸パッドに降下してくる Blue Origin ブースターを見ている、より難しい場面でも Claude Fable 5 が最も優勢だった
    • Bezos の額の光る部分や着陸パッド周辺の煙まで細かく構成し、きれいにレンダリングした
    • GPT 系列は漫画的な結果を作り、生成物ごとに小さな不具合が残った
    • GLM-5.2 と Qwen 3.7 もこの SVG 課題では良い結果を出した

課題によって変わるモデル選択

  • 複雑で新しいレイキャスターとルービックキューブでは 最上位モデルの優位 が明確で、GPT-5.6 Sol と Claude Fable 5 がそれぞれ強みを見せた
  • 単純で広く実装されている課題では、Qwen 3.7 Plus と GLM-5.2 がはるかに低コストで競争力のある結果を作れる
  • Grok 4.5 は一部課題で Claude Opus 4.8 級に達し、コスト重視なら補助実行モデルとして使えるだけの成果を見せた
  • Muse Spark 1.1 は Grok 4.5 より一段下だが、オープンウェイトモデルよりは総じて良く、今すぐ最優先で選ぶ水準ではなかった
  • 課題によって Sol、Fable、Grok、低価格オープンウェイトモデルの順位が変わり、最新・最高価格のフラッグシップが常に勝つわけではない

関連記事

1件のコメント

 
GN⁺ 4 시간 전
Hacker Newsのコメント

  • 「率直に言って指摘すべき点が一つある」「エラーもなく色の変化もない」といった表現は、見分けるための良い基準だと思う。最後まで読んではみたが、人間が直接書いた文章だったらもっと良かった

    • 全人類を合わせたよりも、Anthropicから「Honestly」という言葉を聞く回数の方が多い気がする
    • LLM特有の新しい言語を別のトランスフォーマーに通して、あのイライラする文を取り除けないのだろうか？ 難しくもなさそうだし、みんなにとって得だ

  • 手間をかけてよく作られた記事なのは認めるが、次のような段落を読むと記事全体への愛着が薄れる
    「質問ごとに別々の表を使った。これはビルド作業ではなく標準レイテンシ試験ツールだ…」「したがって秒間トークン数は上限であり、実際のデコード速度ではない…」
    この二文を自分本来の言い回しで直接書くのは、本当にそんなに難しかったのだろうか？

    • この独特の文体がどこから出てくるのか分からないし、消すのもほぼ不可能なので非常に気に障る
    • あまりにも分かりやすくて不快だ。普通の人のように、自分が言いたいことを直接書くべきだ
      AIで文章を作るのは怠惰なだけでなく、平板で退屈で、読者の時間を尊重しない行為だ
    • 議論のために問うが、もしそれが本当に筆者の自然な話し方だったらどうするのか？
    • LLMが出てくるずっと前から、私も時々ああいう書き方をしていた。こういう非難を読むのにももううんざりだ
    • AIの登場後、人々は敏感になりすぎた。プログラマーが自分の好みに合う散文を書かなかったというだけで、やたら細かくあげつらっているようなものだ

  • 私が過度に統制したがる性格なだけかもしれないが、エージェントにランダムなアプリを一発で完成させるやり方は、実際のソフトウェアエンジニアリングでAIを使う方法とはまったく違う

    • 1人のクリエイターにとっては、ワンショット・ベンチマークはかなり有用だ。より良い最先端モデル、私の場合はOpusとFableが、明示されていない部分でもより良い判断を下すか、最初からより良い提案をするかと、ある程度相関しているからだ
    • LLMの時間尺度で見れば、モデルはかなり前から新規アプリ生成をうまくやってきた
      新規アプリをより良く作る方法も興味深いが、複雑に絡み合った既存コードベースの難しい問題をどう解くのかの方がはるかに気になる
    • 基本アプリを一発で作らせたあと、機能要求を一つずつ追加させれば、アーキテクチャと保守性を評価する明確な方法になりそうだ
    • 実際の使い方とは違うが、そうしないとTwitter/Xで有名にはなれない
    • 実使用と同じではないとしても、勘に頼るだけでなく、この領域に少しでも客観的な測定基準を持ち込もうとする試みだ

  • (LM)Arenaが事実上この役割を果たしていて、ベンチマークの点数だけに過度最適化する行為を避ける試験としては最良だと思う
    エージェント: https://arena.ai/leaderboard/agent
    Web開発: https://arena.ai/leaderboard/code/webdev
    現在Web開発ではFableと5.6がほぼ互角で、この記事とほとんど同じ結果だ

    • やろうと思えば、Arenaにもある程度のスコア合わせ最適化は可能だ。あそこのプロンプト分布は一般的な開発者の実際の使い方とかなり違い、特にゲームを最初から一発で作ってほしいという依頼が多い
      不十分なプロンプトで面白いゲームを一発で作ることに特化して微調整すれば、一般的な作業能力以上にコーディングモデルの性能が高く見える可能性がある。私はOpenAIで働いているが、私たちはスコアを水増ししようとはしていない。そうするとArenaがみんなにとってより悪い指標になってしまうからだ
    • 特にFacebookを中心にArenaスコア合わせ最適化はかなり多いが、それでも実際のベンチマークの中ではより良い方だという点には同意する
      古典的なデモシーン効果を再現させてみるのはいつも面白い。音楽生成はまだひどいものだが、Claudeは少なくともまともなシンセサイザーを作るようだ。Agenda Circling Forthの流体・粒子エフェクトを、実装説明の記事とスクリーンショットまで与えて再現させようとしても、いまだにうまくできない
    • まだGrok 4.5が一覧にない理由が気になる。後からリリースされた5.6はもう載っている

  • こうした視覚的ベンチマークは、推論能力よりも知識、つまり学習データがどれだけ包括的か、そしてモデルがそれをどれだけうまく引き出して使えるかを、より強く示している可能性が高い
    キューブの幾何構造やアニメーションを潜在空間の表現に対応づける思考過程(CoT)を、相当な事前知識なしにモデルがどう構成できるのか分からない

    • LLMに新しい推論能力が実際に存在するという証拠はあるのか？ 何をやっても動くようにできなかったし、以前出たAppleの論文も、そうした能力がないことを強く示す証拠だったと思う
      私の経験では、潜在空間が疎だと推論は完全に、笑ってしまうほど失敗する
    • AnthropicはCanvaから確保したデータのおかげで、この種の試験で優位に立っている可能性が高い

  • 私たちも、モデル26種がそれぞれアプリ52個を作ったモデルArenaに、今日GPT 5.6 Sol、Terra、Lunaを追加した
    https://arena.logic.inc/
    3モデルのアプリを並べて比較すると非常に興味深い。まだUIに統計を追加する必要はあるが、Terraの実経過時間はSolの半分で、Lunaは逆にSolより約23%長くかかった
    Lunaの方がずっと安いとはいえ、ほとんどの用途ではTerraの方が時間とコストのバランスが良さそうだ。Terraの品質は概してSolとほぼ同じで、しかもかなり速くて安い。ただし、オーディオシーケンサーのようなSolのデザイン感覚は高く評価している。しばらくの間、すべてのモデルの視覚的な結果は似通っていたが、その点では久しぶりに明確に差別化されたモデルだ

    • 目立った数値として、GPT-5.6 Solはコード1,264行、ファイル35.5KB、gzip 10.0KBなのに対し、GPT-5.6 Terraは827行、20.0KB、gzip 6.7KBだった

  • GLMのようなモデルはベンチマークに過度最適化されており、数値だけを見て考えるほど最先端モデルに近くはないという批判を裏づける結果に見える

  • 他のベンチマークよりも、こうしたAI評価方法論の方がずっと好みだ
    現実世界は複雑で、他のベンチマークは中国の公開モデルにとって攻略しやすいのが明らかだ。記事の文体も気にならず、十分読める

  • 最近の関連記事: Grok 4.5、GPT-5.5、Claudeに同じアプリを作らせた比較
    https://news.ycombinator.com/item?id=48838772 — 2026年7月、コメント92件

  • 正確なプロンプトが抜けているので、再現してみたくても難しい
    どういうふうにプロンプトを書いたのかも気になる。GLM 5.2のように一部モデルがSVGレンダリングに完全に失敗した大きな原因かもしれない