450ドル以下で O1 Preview モデルを直接訓練

• Sky-T1

• 450ドルで O1 Preview モデルを訓練する

  • O1 や Gemini 2.0 のようなモデルは、複雑な作業を解決するうえで優れた推論力を示し、長い内部思考プロセスを通じてそれを実現する。
  • しかし、技術的な詳細やモデルの重みへアクセスできないため、学術界やオープンソースコミュニティの参加に対する障壁となっている。
  • これに対応して、Still-2 や Journey のような数学分野のオープンウェイト推論モデルを訓練しようとする、いくつかの注目すべき取り組みが現れている。
  • UC Berkeley の NovaSky チームは、ベースモデルおよび指示調整モデルの推論能力を高めるためのさまざまな技術を探究している。
  • この研究では、数学だけでなくコーディングにおいても、同一モデルで競争力のある推論性能を達成している。

• 貢献者

  • Dacheng Li, Shiyi Cao, Shu Liu, Tyler Griggs, Simon Mo, Shishir G. Patil, Joseph E. Gonzalez, Ion Stoica