トランスフォーマーの中の宇宙、Oasis

Oasis: Transformerの中の宇宙

• Oasisの紹介

  • Oasisは、AIが生成したリアルタイムのオープンワールド・ビデオゲーム。
  • ユーザーのキーボード入力を受け取り、物理、ゲームルール、グラフィックスをリアルタイムで生成する。
  • ゲームエンジンなしで、基盤モデルだけで動作する。
  • Decartの推論エンジンを用い、リアルタイム動画が可能であることを示している。

• ゲームプレイの結果

  • Oasisは複雑なゲームメカニクスを理解する。
  • さまざまな設定、場所、オブジェクトを生成できる能力を持つ。
  • ゲーム内で建築、照明の物理、インベントリ管理などを行える。

• アーキテクチャ

  • モデルは空間オートエンコーダーと潜在拡散バックボーンで構成される。
  • Transformerベースで、ViTとDiTに基づいている。
  • オートレグレッシブ方式でフレームを生成し、リアルタイムな相互作用を可能にする。

• 性能

  • Oasisは毎秒20フレームのリアルタイム出力を生成する。
  • Decartの推論スタックを通じて、プレイ可能なフレームレートを達成している。
  • EtchedのTransformer ASICであるSohu向けに最適化されている。

• 今後の探求

  • モデルのスケーリングとデータセットの拡張によって解決できる課題がある。
  • 大規模な学習を効率的に行うための追加の最適化技術を開発中。

GN⁺のまとめ

• Oasisは、AIが生成するリアルタイムのオープンワールドゲームであり、Transformerベースの革新的な技術を示している。
• リアルタイムな相互作用を可能にする高速な推論速度が特徴。
• Sohuのような新しいハードウェアと組み合わせることで、大規模モデルを支えられる可能性を示している。
• この技術はゲームだけでなく、さまざまな消費者向け製品に応用できる潜在力を持つ。
• 類似機能を持つプロジェクトとして、OpenAIのSoraやGenmoのMochi-1などがある。