Vibechart

• Vibechartは、ユーザーが事実性、審美的価値、実用性などの従来の基準ではなく、見たい形でチャートを作成できる可視化ツールです。
• GPT-5発表時に使用されたチャートの解釈

GPT-5性能比較（Academic / SWE-bench）チャート

• テスト項目: SWE-bench Verified（ソフトウェアエンジニアリングの問題解決精度）
• Without thinking / With thinking: 『思考モード』（推論時間を長く使う方式）有無による性能差
  • GPT-5: 思考なし 52.8%、思考モードで74.9%
  • OpenAI o3: 69.1%
  • GPT-4o: 30.8%
• ここでは、GPT-5は思考モードを使うとo3より性能が高くなる。

Deception evals across models（詐称評価）

• モデルが『だます』行動をどの程度示すかを測定したテスト。
• Coding deception: GPT-5（思考モード）50.0%、o3 47.4%
• CharXiv missing image: GPT-5 9.0%、o3 86.7%
• Production traffic: GPT-5 2.1%、o3 4.8%
• 項目別に見るとGPT-5は一部の領域では詐称率が高く、別の領域ではかなり低い

つまり、GPT-5は**『思考モード』でo3より優れている**一方、他の面（例：詐称の可能性）では悪化するか同程度である

[GN⁺]

Hacker Newsの意見

• OpenAIのGPT-5発表投稿の「evaluation」セクションには、数字とバーサイズがより説得力のある版がある（リンク）。単なる単純なミスの可能性はあるが、数十億ドルを費やしてあらゆる人間活動を革新すると約束する会社が、まともなパワーポイント1枚も作れないという印象そのものが残念だ
  • これはまるで自分たちが食べる餌を自分たちで試食しているようなものだ。自分たちで作った餌を売るならこういう結果になる
  • もしかすると、今回新しく出たAIがグラフィックを生成したのかもしれない
  • OpenAIにいる人たちは分野のトップだと思うので、このレベルのミスをしたとは思えない
• 最初はこれがvibe coding関連の指標だと思ったが違っていて、実際はWakaTimeだった
• 「Coding deception」チャートも入れるべきだと思う。かなり誤解を招く（50.0は実際には47.4より小さくない）（リンク)
  • そのチャート画像をChatGPT-5に貼り付けて「このチャートに誤りがあるようだが、どこか分かりますか？」と聞いてみた。ChatGPTは「最初の『Coding deception』でGPT-5（思考版）のピンクバーが50.0%で、OpenAI o3の白バーが47.4%と表示されているが、見た目としては白バーのほうがピンクバーより短く描かれている。パーセンテージは少し低いだけで、見た目が一致していない」と返した。結局、スライドレビューにChatGPTを使うべきだったと感じた
  • 投稿記事と上のリンクの両方とも、何が問題なのかを見つけるのにかなり時間がかかった。これはどういう意図で作られたのか理解できない。いまやAIがチャートを作り、誰もレビューしないでいるのか気になってくる
  • これはあまりにも明白に間違っているので、誰かがチャートのラベル付けを間違えたのではと思う。もしかしたら自分が楽観的すぎるだけかもしれない
  • チャートに追加しておいた
  • その半分程度は理解できる。『deception』はLLMにとって望ましくない特性なので、少ないほど聴衆側では「より良い」と受け取られる。ただし『less is more』という性質を持たない他のものと比べると、グラフでこれを正しく表現する方法が分からない（しかもグラフが0から始まっていない問題まである）。結局これは全く意味不明な結果だと思う
• この件がどう起きたのか不思議だ。おそらくラストスパートで上級幹部が入り、「新型モデルが旧型モデルよりあまり改善していないように見えるのは困るので、y軸を調整してより大きな改善のように見せよう」とフィードバックしただろう
  • こういう無能な人たちがこの程度のお金と権力を持っていることが本当に恐ろしい
  • おそらくGPT-5にスライドの修正を頼んだ可能性がある
  • OpenAI周辺には焦りの空気が感じられるので、この過剰なハイプ演出がトップから出たとしても驚かない
  • これは業界の標準だ。例えばNvidiaは新しいGPUを出すたび同じ手法のチャートを使う。AppleもMシリーズCPUで同じことをしている。むしろ数世代前のモデルとも比較してさらに誇張することさえある
• 私は常に、灰色よりピンクが多いチャートを支持する
• OpenAIは「データ」も最初からマーケティングの一部であることを知っており、そのように扱ってきた。意図的ではないと思うが、Dota 2の頃から、結果を誇張し失敗を隠す形でデータを提示する方法をよく理解していた
• Cybertruckのガラスデモと似たやり方だ
• 69.1の列と30.8の列の高さがまったく同じだ。おそらく30.8の列をコピーして数値だけ変え、高さの調整を忘れたミスのようだが、新モデルより低いという点だけざっと確認して流したようだ。ただし50.0の列の高さはその説明では無理だ
  • 一見するとそのバーは実際には約15%の高さに見える。50ではなく15と書いた可能性もある。しかしこのミスは、歴史上最も注目を集めるスタートアップの基調発表で見るより高校生の授業発表で見るほうがしっくりくるだろう。ちなみに、この発表に関係した全員が150万ドルのボーナスを確定で受け取ることになっている。考えるとしみじみと悲しい
  • 専門家向けのプレゼンで、なぜバーとラベルを別々に手動で作ったのか理解できない。デザイン的に珍しいことをしようとしているわけでもないのに、基本的なバーチャートですらこうしたミスが出る状況自体、意図的でないなら説明が難しい
• みんなが自分たちの自己欺瞞を、さらにうまく隠そうとしているのを見ていると、笑いが残る