GPT-5「Orion」の開発遅延

 (wsj.com)
12 ポイント 投稿者 GN⁺ 2024-12-23 | 7件のコメント | WhatsAppで共有
  • OpenAIの次世代AIプロジェクト GPT-5（コードネーム Orion） は、スケジュールが遅延しており、莫大なコストが発生中
  • GPT-5はChatGPTを可能にした技術の主要な進歩を目指しているが、成功の可能性とスケジュールは不透明
  • 主要投資家であるMicrosoftは2024年半ばの公開を期待していたが、OpenAIの内部テストで複数の問題が発生

プロジェクトの現状とコスト

  • GPT-5はすでに2回の大規模トレーニングを実施しており、各トレーニングに数億ドルを投入
  • 想定された性能を満たせておらず、現在の性能は既存のGPT-4をわずかに上回る程度
  • OpenAIのCEO、Sam Altmanは、GPT-5が画期的な進歩をもたらすと強調

トレーニングデータと技術的課題

  • LLMのトレーニングには膨大なデータが必要だが、現在のインターネットには十分な高品質データが不足
  • OpenAIは、数学問題の解決やソフトウェアコードの作成などを通じて、直接データを生成する方法を採用
  • 合成データ（AIが生成したデータ）も活用しているが、自前のデータ生成プロセスには誤りや不合理な結果が生じるリスクが存在

内部問題と競争圧力

  • OpenAI内部の対立や、競合他社による人材引き抜きの動きが増加
  • 共同創業者のIlya SutskeverおよびCTOのMira Muratiを含む24人以上の主要人材が退社
  • 競合のAnthropicとGoogleがより優れたLLMをリリースし、競争が激化

新たなアプローチ: 推論モデル

  • OpenAIはLLMの性能向上に向けて、新たな推論モデルを開発
    • 単にデータを拡張する従来アプローチの限界を認識
    • o1モデルは、1つの質問に対して複数の回答を生成し、それらを分析して最適な回答を選択
    • 複雑な問題を解決し、回答プロセスを説明しながら学習可能

コストと性能のトレードオフ

  • 推論ベースのモデルは従来手法より性能が向上した一方で、高いコスト負担がある
    • 単一の質問に対して複数の回答を生成する必要があるため、計算コストが増加
  • 研究チームは、推論モデルと既存のデータ中心アプローチを組み合わせ、GPT-5の基盤を築こうと努力

産業上の課題とデータ不足

  • AI業界はますますデータ不足の問題と限界に直面
  • データは「AIの化石燃料」という比喩のように、追加の高品質データを確保することが難しい状況
  • GPT-5の開発が停滞すれば、AI改善も頭打ちになる可能性が指摘

結論

  • OpenAIはOrionプロジェクトで、技術面・財務面・人的資源の問題により苦戦している
  • 新しい推論モデルがAI発展の新たな突破口となる可能性を模索中
  • しかし、GPT-5と認められるだけのモデルの公開は依然として不透明

関連記事

7件のコメント

 
aer0700 2024-12-24

石油化学企業が石油をガソリンや軽油などに精製するように、
データ精製企業が未精製データをきれいに整えるような事業モデルもありそうですね。
社内に無数に蓄積されている標準作業手順書のExcelやPowerPointファイルを整備して、GPTのファインチューニングに使うとか？
 
softer 2024-12-23

予定されていた壁だと思われるし、 自ら認知して考える方向へ舵を切っても面白いのでは、という気も少しします
 
windrod 2024-12-23

そもそも決まったロードマップや基準が特にない状態で、開発が遅れているだのどうだのと語るのは、これも結局ただのマーケティング目的の情報リークである可能性が高いでしょう。
 
mammal 2024-12-23

> o1モデルは1つの質問に対して複数の回答を生成し、それらを分析して最適な回答を選択する

o1はMCTSやサーチベースではなく、RLでCoTを拡張したモデルです
 
curiousotter 2024-12-23

複数の回答を生成して -> この部分は並列に複数の回答を生成してその中から1つを選ぶ、ということではなく、
おっしゃるとおり、CoTで回答できたと判断されるまで順次回答を生成し、最適な回答を出す、ということですね..
これは翻訳の過程で誤訳されたのかなと思ったりもします。原文の確認が難しいので分かりませんが..
 
mammal 2024-12-23

Behind the scenes, OpenAI’s o1 offers several responses to each question and analyzes them to find the best one. It can perform more complex tasks, like writing a business plan or creating a crossword puzzle, while explaining its reasoning—which helps the model learn a little bit from each answer.

そうした追加の知能にはコストがかかる。OpenAI は現在、1つのクエリに対して1つだけでなく、複数の回答を生成するための費用を負担している。

どうやら記者は、複数の回答を生成してその中から1つを選ぶ方式だと理解しているようですね
 
GN⁺ 2024-12-23
Hacker Newsの意見

  • モデルの訓練コストが増加するにつれて、学習に必要な時間が長くなるという問題がある。小規模なモデルのほうがより速いイノベーションを実現できる理由は、フィードバックループが短いためである

  • OpenAIのGPT-4開発に関する説明は、記事への信頼を高めるものではない

  • LLMsはもはや、単純にデータと計算能力を増やすだけでは発展できない限界に達していると言及している。新しいアイデアが必要であり、そのための資金は十分に用意されている

  • LLMの現在の水準が保守的な信頼度指標を提供できれば、はるかに有用になるだろう。「わからない」や「確信はないが…」のような出力を提供する必要がある

  • OpenAIの次のリリースより重要なのは、ソフトウェア業界がこの技術を統合し、その価値を実現することである

  • 内部者の発言から推測できるのは、スケーリングとデータおよびアルゴリズムの変化によって10倍の改善を目指しているということだ。公開データソースはほぼ枯渇しており、アルゴリズムの変化は研究を通じて継続的な改善を実現している

    • データが限られている場合、スケーリングは停滞する
    • 計算能力をより良いデータへと変換する方法を見つけるのが、論理的な次の段階である
    • o3が公開されることで、OpenAIの次の防衛線は最高の合成訓練セットになる可能性がある

  • GPT-5は日程が遅れたのではなく、GPT-4oとしてすでに半年前にリリースされていた。革新的ではなかったため5とは名付けられず、最後の瞬間にリブランディングされた可能性がある

  • テクノロジージャーナリズムは誇張されていると言及し、o3がリリースされたにもかかわらず、依然として批判的な記事が出ている

  • o1-Proは主観的にはGPT-4よりはるかに優れており、o3はそれよりさらに良いと評価されている。技術が急速に進歩していることを示唆している

  • この技術がどのようにうまく機能するのかを世界が学びつつあり、日程が遅れたという話はほとんどコメディのようだ