Databricksが独自のコーディングAIベンチマークを作成した方法とその結果
(databricks.com)- 公開されているコーディングベンチマークは、各社の状況にぴったり合わず、不正対策が不十分であることが問題
- Databricksでは、実際に社内で行った課題や使用言語をもとにベンチマークを作成して評価
- GLM 5.2は最も難しい課題でもOpus 4.8と同等の水準で解決した一方、価格はOpusの66%水準
- Sonnet 5はOpus 4.8より1.7倍安いが、実際の作業完了のためにトークンを1.9倍多く使うため非効率的
- 同じモデルを使っても、ハーネスによって価格と実行時間を大幅に節約できる
まだコメントはありません。