"Generative Interactive Environments"
- インターネット動画で学習したファウンデーション・ワールドモデルで、合成画像・写真・スケッチから無限の多様性を持つプレイ可能な世界を生成できる
- 2Dプラットフォーマーゲームとロボティクスのインターネット動画の大規模データセットで訓練されており、どのようなドメインにも適用可能で、インターネットデータセットへ拡張できる
動作ラベルなしで制御を学習
- インターネット動画だけで細かな制御を学習できる能力を持ち、これは動作や制御すべき画像部分に対するラベルがないインターネット動画では困難な課題
- Genieは観察可能な部分のうち、どの部分が一般に制御可能か、そして生成された環境全体で一貫した多様な潜在動作を推論できる
新しいクリエイター世代を可能にする
- たった1枚の画像だけで新しいインタラクティブ環境を作成でき、仮想世界を生成して入り込む新しい方法を提供
- 最先端のテキスト画像生成モデルを使って開始フレームを生成し、その後Genieで命を吹き込んで仮想世界を作ることができる
- スケッチや実世界の画像からも仮想環境を生成可能
汎用（Generalist）エージェントのための足がかり
- ゲーム環境はAIエージェント開発のための効果的なテストベッドになり得るが、利用可能なゲーム数によって制限される
- Genieを使えばAIエージェントを新たに生成された無限の環境で訓練でき、Genieが学習した潜在動作が実際に人間が設計した環境へ転移できることを示した
生成される仮想世界の未来
- このウェブサイトではプラットフォーマーの結果に焦点を当てているが、Genieは汎用的な方法論としてさまざまなドメインに適用可能
- Genieは変形可能なオブジェクトもシミュレートでき、これはデータから学習できる人間設計のシミュレーターにとっては困難な作業
- Genieは画像やテキストから完全にインタラクティブな世界全体を生成できる時代を切り開き、将来の汎用AIエージェントを訓練する触媒になると期待される
1件のコメント
ガキんちょ Gemini
あいつ Gemma
あの子 Genie