Grok 4.5公開

 (x.ai)
2 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有
  • SpaceXAIがコーディング・エージェント型タスク・知識労働を狙った自社最上位モデル、Grok 4.5をリリース
  • 学習プロセスでは数万基のNVIDIA GB300 GPUと、データの重複除去・品質スコアリング・ドメイン重視の選択に注力し、単純なトークン規模よりも信号品質を重視
  • ベンチマークでは Terminal Bench 2.1 83.3%、SWE Bench Pro 64.7%、DeepSWE 1.0 62.0%、DeepSWE 1.1 **53%**を記録
  • サービング速度は80 TPSで、SWE Bench Proのタスクあたり平均出力トークン数は15,954個と、Opus 4.8(max)の67,020個より約4.2倍少ない
  • Grok 4.5はGrok Build、すべてのCursorプラン、SpaceXAIコンソールで利用できるが、EUでの提供はまだ開始されておらず、7月中旬の予定

コーディング・エージェントタスクを狙った学習と評価

  • Grok 4.5はコーディング、科学、エンジニアリング、数学の知識を含むデータセットで学習されており、実際のエンジニアリング作業とエージェント型タスクを主要な活用先としている

  • ベンチマーク結果

    • 比較モデルの数値は、各開発元の公開システムカードまたはベンチマークリーダーボードから取得した値
    • DeepSWE 1.0: Grok 4.5 62.0%、Fable(max) 66.1%、GPT 5.5(xhigh) 64.31%、Opus 4.8(max) 55.75%、Opus 4.7(max) 40.12%
    • DeepSWE 1.1: Grok 4.5 53%、Fable(max) 70%、GPT 5.5(xhigh) 67%、Opus 4.8(max) 59%、GLM 5.2 44%
    • Terminal Bench 2.1: Grok 4.5 83.3%、Fable(max) 84.3%、GPT 5.5(xhigh) 83.4%、Opus 4.8(max) 78.9%、Opus 4.7(max) 78.9%
    • SWE Bench Pro解決率: Grok 4.5 64.7%、Fable(max) 80.4%、Opus 4.8(max) 69.2%、Opus 4.7(max) 64.3%、GLM 5.2 62.1%、GPT 5.5(xhigh) 58.6%

  • 学習インフラとデータ処理

    • 学習インフラには数万基のNVIDIA GB300 GPUを使用し、大規模学習実行のための安定化手法を含む
    • データ処理では、単純なトークン規模よりもフィルタリングとキュレーションに投資
      • 重複除去
      • 品質スコアリング
      • ドメイン重視の選択
    • 強化学習はトークンごとの知能に焦点を当て、数十万件のタスクを対象に実施
      • 中心となるタスクは多段階のソフトウェアエンジニアリングとその他の技術タスク
      • 採点には自動採点とモデルベースの採点が使われる
      • エージェント型ロールアウトは数時間にわたって実行されることがあり、学習には数万基のGPU上で継続的に進む非同期学習スタックを使用

  • コーディング活用例

    • Grok 4.5はRust、C/C++の難しいタスクから、プロンプトベースのエンドツーエンドアプリ制作まで、コーディング作業に強いと示されている
    • 例示プロンプトでは、threejsで宇宙と太陽系のシミュレーションを作り、時間調整・現実的な動き・軌道・星・モダンなHUDを含めるよう求めている

速度、価格、業務ツール対応

  • Grok 4.5は80 TPSのモデル速度で提供される
  • SWE Bench Proのタスク基準で平均出力トークンは15,954個で、Opus 4.8(max)の67,020個より約4.2倍少ない
  • 価格は入力100万トークンあたり2ドル、出力100万トークンあたり6ドル
  • SpaceXAIは、Grok 4.5が比較対象の先導モデルよりおおむね2倍高いトークン効率を達成し、タスクを半分未満のステップ数で解決すると述べている

  • Grok BuildとOfficeプラグイン

    • Grok 4.5はGrok Buildのデフォルトモデル
    • Grok Buildは、Webリサーチ、複数シートの数式利用、将来の参照用の付箋やメモを含む複雑なExcelモデルを作成できる
    • PowerPointでは、ネイティブ図形で複雑なダイアグラムを作り、直感的なスライドコンテンツを設計できる
    • Wordでは明確な文章作成を支援する
    • OfficeプラグインはWord、PowerPoint、Excel向けに提供される

  • 提供チャネルと制限

    • Grok 4.5は現在、Grok Build、すべてのプランのCursor、SpaceXAIコンソールで利用できる
    • 限定的に、Grok BuildとCursorで無料のGrok 4.5利用を提供
    • EUではまだSpaceXAI製品やAPIコンソールでGrok 4.5を利用できず、7月中旬の提供が見込まれる

関連記事

1件のコメント

 
GN⁺ 3 시간 전
Hacker Newsの意見

  • xAIがモデルの回答を政治的なナラティブに合わせて積極的に調整していると分かっている以上、信頼しにくいと思う
    バックエンドで継続的に誘導されているモデルを、企業環境でどう信頼できるのか疑問に感じる

    • どのモデル提供企業も、自分たちが好む政治的なナラティブに合わせて回答を調整している可能性があるのではないかと思う
    • 他のモデルも状況は変わらないのではないか、という反論
    • Claudeに西側諸国におけるマイノリティの犯罪率やトランス女性の生物学のようなセンシティブなトピックを尋ねると、嘘に気づかなかった可能性がある
      モデルに嘘を指摘しても、それがHRLFプロセスと組み込まれたバイアスのせいだと認めさせるのは簡単ではなかっただろうと思う
      Claudeに、自ら「10〜15の主要研究分野では使うべきではない」と言わせたり、「難しい」問題では出典が頻繁にチェリーピックされ、極端に誤ったバランスを示すと認めさせたりする様子を見ると、すべてのLLMにはバイアスがあり、その大多数はリベラル寄りだと感じるようになる
      むしろテストしてみると、GrokはGPTやGeminiよりも政治的に正しい回答をする場合が多く、Xのユーザーが意図的に政治的に不適切な発言を引き出せるために、辛辣な評判が付いただけだと思う
      grok.comやアプリのGrokは実際にはかなりおとなしく、退屈なほどだとも付け加えている
    • 政治的な用途に使わなければいいだけではないかと思う
      コード生成にだけ使うつもりなら、なぜその部分を気にする必要があるのかという立場
    • Elonのレトリックとモデルの挙動はあまり一致していない
      GrokはElon批判もするし、彼が掲げるさまざまな極右的論点にも反論する傾向がある

  • 人々がGrokを使おうとしていることに驚く
    xAIはあまりにも露骨に道徳的に破綻した会社のように見え、CSAMを容認しているように見える、あるいは少なくとも防ぐために十分なことをしていない唯一のAI企業のように感じる
    わざわざ金を払う理由はなく、それしか選択肢がないならともかく、今はまったくそうではない

    • 人々はまさにその道徳的態度のために金を払っているのだと思う
      CSAMを積極的に容認している、あるいは単に気にしていないという解釈
    • AI企業は1社、多くても2社あればよい、という考え方は危険だ
      誰がより道徳的かを決めるやり方は、歴史的にあまり良い結果を生まなかった
    • 以前はGrokや道徳的に疑わしい製品を使うことについてかなり悩んでいたが、家を買い、ソフトウェアエンジニアの給与で大金を使い、数年前にSFへ引っ越してジェントリフィケーションに寄与したかもしれず、中国の多くの子どもたちに教育費がないのに何もしなかったと思うようになった
      それでGrokを使い、家族が不快に思うほど中国のNGOにかなり多くの金を寄付し、まだ住宅ローンがあり自分もある程度利己的なので、SFの非営利団体には寄付しないことにした
      道徳と善行には実用的な態度で取り組むべきだと思う
      Grokは多くの面で気に入っており、ボイコットすることも道徳的には良いが、現実性を保ちながらできる他の道徳的選択も多いと考えている
    • AI業界の大物たちの道徳性はすべて疑わしいと思う
      学習コーパスはおおむね盗まれたもので、皆、抜け出しにくい負債を抱えながら走り続けている
      しかし製品があまりに有用になっているため、「道徳的に受け入れられる」LLMが出るのを待って身を引いている人はほとんどおらず、そうしたモデルは必然的により劣ったものになる可能性が高い
      ただしCSAMについては判断が難しく、xAIが本当に容認しているのなら、他社よりもさらに非道徳的だという点には同意する

  • Grok 4.5は非常に経済的に見える
    Opus比で推論効率が4倍良く、価格は$2/$6で、比較するとGPT 5.4は$2.5/$15、GPT 5.5/5.6は$5/$30、Opus 4.8は$5/$25、Fableは$10/$50だ
    ベンチマークを操作していないならOpus 4.7水準に見え、Elonがhttps://x.com/elonmusk/status/2074911038286295049で述べたこととも一致する
    Cursorのデータがかなり役に立ったのだろう

    • $2/$6という価格はコンテキスト長200K以下にだけ適用されるようだ
      それを超え、最大コンテキスト500Kでは価格が$4/$12と2倍になる
      https://docs.x.ai/developers/models/grok-4.5
    • xAIは最大級のクラスターの一つを持っているが、競合より人気が低いため処理すべきトラフィックとトークンがはるかに少なく、その節約分をエンドユーザーに還元できる、という仮説が浮かぶ
    • Claudeの$100プランに近い計算上限を持つ同等プランがあるとよさそうだ
      Grokの月額$40版を使っているが、1か月に「休まず」Grok Buildでコーディングできる時間は最大で8時間程度だ
    • 中国APIと比べるとどうなのか気になる
      xAIが中国の研究所より意味のあるほど高性能だったり、少しでも正直そうに見えたりしないなら、はるかに安くない限り、作業をそのまま中国に送ってもよいのではないかと思う
    • 同程度の性能のDeepseek v4 Proと比べると非常に高い
      Grokは中途半端な位置に閉じ込められている。どの分野でも最高ではなく、最安でもない
      過去の経緯まで考慮する前の段階でも使う理由を作るのは難しく、自分を「MechaHitler」と呼ぶモデルを会社で使おうと提案することが昇進につながるのかも疑問だ

  • Cursor のブログによると、Cursor のデータ数兆トークンで学習しており、コードベースとソフトウェアツールを扱う実際のユーザーインタラクションが幅広く含まれている
    このデータセットのおかげで、既存のソフトウェアだけでなく開発者とエージェントのインタラクションからも学べ、開発者の働き方やエージェントが環境とやり取りする方法を捉えられる
    大きな資金が投じられた理由はここにあると思う。Cursor は Claude Code や Codex が本格化する前に、実プロジェクトのデータを持っていた最初の大手プレイヤーだった
    現実的な環境の難しい問題に対して強化学習を使い、問題調査、ツール利用、ミスからの復旧、結果の検証を教えた。また既存の課題がもはや新しく教えることがなくなるほど、フロンティアモデルでも失敗するような難問を設計する必要があった
    エンジニアが問題と検証方法を決めると、大規模なエージェント群が環境を構成・テスト・改善する分散エージェントシステムを作り、前世代モデルで次の反復学習用データセットを用意する構造になっている
    モデルが良くなるほどデータも良くなり、次のモデルも良くなるという循環であり、「中国モデルは最新の最高水準に近い」と見る人向けに Composer 2.5 の学習との比較もある
    Anthropic に多くの計算資源を譲った後に xAI が没落したという評価はやや誇張されているようで、Grok 4.5 は数万基の NVIDIA GB300 GPU で学習された

    • Microsoft は GitHub と Visual Studio を持っているのに、良いコーディングモデルがない
    • 前世代モデルで次世代モデル用のデータを用意することもできるし、そもそも合成データを生成させることもできる
      以前は悪い考えだと思われていたが、多くの計算資源を使ってデータを作成・採点するスキャフォールドを組むと、品質がかなり良くなることが分かってきた
    • 大きな資金は SpaceX 株、それも IPO 直後の新株にも入ったので、全体としてかなり賢い選択に見える
    • 前世代モデルで次の反復用データセットを用意する方式は学習に有害だと何度も読んだ
      実質的には多くの人が蒸留と呼ぶものを説明していることになるが、これはポストトレーニングで行動を誘導するのにだけ有用で、行動様式を教えるだけで考え方を教えるものではない、と理解している
      間違っているかもしれないので、もっと詳しい人が説明してくれるとありがたい

  • 数十億ドルを使って3位のモデルを作ることが、経済的にどう筋が通るのか分からない
    1位と2位でさえすでに収益化が難しそうに見えるのに、自分が何を見落としているのか気になる
    Ed Zitron 風に最後まで悲観的に追い込むつもりはないが、理解できない

    • 以前は大きく離された4位であり、一度に OpenAI や Anthropic に追いつくことはできないが、はしごを一段上がったことにはなる
      短期的には研究所は収益性がなく、Anthropic はほぼそこに近づいたとされている
      Amazon も長い間、利益が出ないことで有名だったが最終的に大きく勝ったように、現在の収益性は投資家にとって必ずしも核心ではない。重要なのは将来の収益可能性を信じるかどうかだ
      Elon は、今後は経済の多くの部分が AI によって運営され、トークンの経済的価値がそのトークンを生成するコストよりも速く上昇すると見ているようだ。これには、そのトークンを作るモデルの学習費用の償却も含まれる
      だからモデルを学習し、推論コストを徴収する研究所を作っており、今ではなくても最終的には収益性が生まれると信じているようだ
      これに同意することもできるし、彼が Anthropic/OpenAI に勝てるかは、研究者の維持で最近苦労していることを見るとさらに不確かだが、現在の収益は将来の収益可能性を信じるべきかを判断する良い指標ではない
      Tesla と SpaceX も収益性は非常に悪かったが、いつかはそうではなくなった
      個人的には将来莫大な収益が生まれるという点には同意するが、Elon が Anthropic/OpenAI に勝つ能力についてはそこまで確信していない
    • 競合他社と同じ夢を見ているということだ
      ブレークスルーを見つけて優位を得て、支配的な地位に就こうとしている
      また会社の周辺に AI という言葉が付いていると必要な数字が上がるので、Musk が他の会社と組み合わせてバリュエーションを引き上げられる社内 AI 部門は、製品自体が赤字でも彼にとって有用だ
    • 永久的な下層階級から抜け出す唯一の道なら、Elon も例外ではないという冗談交じりの見方
    • 今の Google や他の多くの研究所にも同じことが言える
      選択肢の多い多様な市場は、ブラウザ戦争の再来を防いでくれる
    • この市場は順位を付けられるほど成熟しているわけでも、確立しているわけでもない
      初期段階が後半を予測できなかった技術市場は多かった
      Grok には個人的に懐疑的だが、Claude が優位を失えば、Cursor 統合を通じて収益性のあるニッチ市場を作れるかもしれない

  • OpenRouter の設定を ZDR 専用にしていたので、Grok モデルを使ったことがなかった
    いま確認してみると、今は ZDR xAI エンドポイントがあるようなので、実際に試してみるつもりだ
    いつ追加されたのか知っている人がいるのか気になる
    ただし匿名性の項目に “Requires user IDs” と書かれていて、OpenRouter では珍しく、あまり印象は良くない。通常 OpenRouter はリクエストをプロバイダーに匿名化して渡すプロキシだが、ZDR 専用のようにアカウント全体でこれを強制する設定は見つけられなかった

  • 第一印象はかなり良い
    秒間トークン数が高く、おおよそ90前後に見え、トークン効率も非常に高いので、速度面では GPT 5.5、Opus 4.8、GLM 5.2 に楽に勝っている
    価格も非常に良く、API料金を自分で払うなら GPT と Opus は高すぎるし、トークン効率まで考えると GLM 5.2 よりもおそらく安い可能性がある
    知能レベルを見極めるにはかなり時間がかかるだろうが、確実に良く、Opus と同じクラスの下位あたりに GLM 5.2 と並んでいるように見える

    • 同意
      Cursorで「このテストスイートは満足できるほど強くなく、結果より内部状態に依存しているケースが多すぎる」という問題について「検討して解決策を提案してほしい」と頼んだところ、テスト方針、強み、弱み、抜け穴をうまく整理し、信頼されているテストライブラリである https://hypothesis.readthedocs.io/en/latest/ ベースの体系的な複数アプローチを勧めてきた
      今回の改善作業でやることと後回しにすることを分け、非常に難しい、またはスコープ外になり得るケースを特定したうえで、そこに集中するかどうかの選択肢も提示し、新しいテストも論理的に構成していた
      フィードバックを1回入れて計画を調整したあと、エージェントモードで回したら、数分後にははるかに良いテストスイートができていた
      Grokを使ったことがなかったので期待値は低かったが、以前なら GPT や Opus にしか任せなかったであろう複雑で細かい多段階作業を見事にこなした
      追記すると、古くからある実質的なバグも見つけた。テスト改善後にコード全体とパッケージングのレビューをさせたところ、些細な欠陥や抜けも拾ったが、エラーハンドリングの弱点と、かなり恥ずかしい機能バグも1つ見つけて修正し、テストまで追加した
    • 興味深いが、何かやり方を間違えているのか、このモデルはほとんど使い物にならないように感じる
      文脈がほとんど不要な基本的な依頼でも延々と失敗し、たとえばヘルパー関数をインライン化してと言ったら、10行の変更で済むところを関連モジュールの半分を書き直した

  • 実際に使った3つのモデルのうち、Grokが個人用に欲しかったiOSアプリを作るのに一番うまくやった
    特定の条件を持つ自転車コンピューターアプリで、ClaudeはあきらめてHTML/CSS実装に進もうとしたが、こちらは native SwiftUI+Metal にこだわった
    Grokも時々ミスはするが、細かく指示しないといけないと思っていた部分を意外にうまく推論してくれて驚いた
    iOS開発者ではないので、言語とAPIを何か月・何年も学ぶ代わりに、数時間・数日で必要なものを得られたのは本当に助かった
    Caddyを「バイブコーディング」しているわけではまったくなく、個人プロジェクトとして触っている程度

    • ClaudeがHTML/CSS実装に進もうとし、native SwiftUI+Metal にこだわったというのは非常に奇妙で、自分の経験とは真逆だ
      どのモデルを使ったのかは書かれていないが、Opus 4.8 や Sonnet が希望する言語やスタックを無視したことはなかった
    • Opus 4.8でネイティブiOS開発をかなりやっていて、以前は4.7/4.6も使っていたが、この話は受け入れがたい
      Opusを使ったのか、それとも別のモデルを使ったのか気になる
    • これとほぼ同じ、または非常によく似たコメントを前に読んだ気がする
      自転車コンピューターのiOSアプリと、どのモデルかがあきらめたという要旨が同じだった
      それは別として、Caddyには本当に感謝している。新しいプロジェクトを始めるのに大いに役立ち、チームのオンボーディングで気にしなければならないエラー原因が1つ減るくらい、デフォルト状態でそのままうまく動いた
    • ClaudeはClaude Codeで使ったのか気になる
      Haikuのような弱いモデルを使ったのではないか。Claudeは言われているほど悪くないはずだ
    • 自転車コンピューターに満足していない立場としては、ひどいUI/UX上の判断がかなり多いので、作ったものを共有するか説明してもらえるか気になる
      Webサーバーは気に入っている

  • Cursorもモデル学習に参加しており、発表記事は https://cursor.com/blog/grok-4-5 にある
    特に Grok 4.5 と Composer 2.5 は異なるモデル重みクラスであり、両方のサイズと重みをサポートできるようになってうれしいと述べている
    Composer 2.5 は引き続き提供され、今後もこのサイズの新モデルをリリースする予定だという

    • Composer 2.5 は Kimi 2.5 ベースで全体1T、アクティブ32Bで、Elonは Grok 4.5 が全体1.5Tパラメータだと公に述べている
      異なる重みクラスと言うには差は大きくない
      API料金の差は約2.5倍だが、おそらく xAI が回収しなければならないコストがずっと大きいからだろう

  • https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

    • ハムスターもだんだん良くなっているが、最新の最高水準モデルと比べるとまだかなり遠い
      https://aibenchy.com/showcase/?q=grok
    • 厚いホイールキャップの付いた自動車の車輪を使った自転車に乗っているように見える