OpenAI o1-pro、APIから利用可能に

• 入力トークン $150、出力トークン $600（100万件あたり）
  • o1-miniより150倍高価
• o1シリーズのモデルは、強化学習（Reinforcement Learning）を通じて、回答前に考え、複雑な推論を行うよう訓練されている
  • o1-proモデルは、より多くの計算リソースを使ってより深く考え、一貫した高品質の回答を提供
• Responses APIでのみ利用可能で、以下の機能をサポート
  • 複数ツールの呼び出しをサポート
  • APIリクエストに応答する前に、複数ターンにわたるモデル相互作用をサポート
• 200,000のコンテキストウィンドウ、最大出力トークン数は100,000
• カットオフは2023年10月1日

[GN⁺]

Hacker Newsの意見

• このモデルは新しいResponses API経由でのみ利用可能
  • Chat Completionsを使うコードがあるなら、対応のためにResponsesへアップグレードする必要がある
  • 自分のLLMツールにサポートを追加するには時間がかかるかもしれない
• 価格: 入力トークン100万個あたり$150、出力トークン100万個あたり$600
  • 非常に高価だが、ChatGPT Proサブスクリプションと併用してみたところ、驚くほど有能だった
  • 100,000トークンのコードベースを与えると、自分が完全に見落としていた微妙なバグを見つけてくれる
  • APIの価格と自分が払っているサブスクリプション料金を比べると、少し申し訳ない気持ちになる
• ペリカンが自転車に乗るSVGをレンダリングするのに94セントかかった
• 年収$160kの意欲的なホワイトカラー労働者が1日に6時間、聞くか話すと仮定すると、100万トークンあたりのコストは約$10k
  • OpenAIは今や、最先端モデルの価格で高度に熟練した人間とほぼ同じ水準に達している
  • o3 proがこの状況を変えるかもしれないが、o3がまもなくリリース予定だったなら、このモデルは出さなかったと思う
• 2023年の知識カットオフと200kのコンテキストウィンドウを持つ
  • やや残念
• o1-proはGrok 3 thinkやClaude 3.7 thinkを含む他のすべてのリリースと比べても、依然として優れている
  • Proサブスクリプションを解約しようとしていたが、4.5は非コーディング/数学タスクにあまりにも優秀
  • o3 proが待ちきれない
• 試してみて気に入った人たちもいる
  • Sonnet 3.7にはとても自信がある
  • もっと速くなってほしい
  • 問題の大半は実行面にあり、AIには自分でコーディングするより速くやってほしい
• o1-proは、スイッチ的なツールやコードベースのダブルチェック用途になる気がする
  • 価格が下がっても、Sonnetの10倍の速度を得るには多くの作業とドメイン知識が必要だと考えている
• o1-proはストリーミングをサポートしていない
  • 複数の回答を探索するためにbest-of-n系の技法を使っていると推測される
  • llm-consortiumを使えば、はるかに低価格で似たような結果を得られると思う
  • 複数のモデルにプロンプトを投げ、その中から最良の応答を選ぶか合成できる
  • 信頼しきい値に達するまで繰り返すこともできる
• 最初は自分のプラットフォームに追加できると思っていたが、価格を見て、大多数のユーザー向けにこのモデルを有効化するのはためらわれる
  • 裕福な企業を除けば、ほとんどのユーザーは自分で自分の首を絞めることになる
• o1-Proはo1モデルのワークフローなのではないかと、ずっと疑っていた
  • 8つのo1インスタンスに分散して結果を集約する仕組みなのかもしれない