Infinigen: 手続き型生成で無限のフォトリアリスティック世界を実現

 (github.com/princeton-vl)
2 ポイント 投稿者 GN⁺ 2024-12-24 | 1件のコメント | WhatsAppで共有
  • Infinigenは、手続き型生成によってフォトリアリスティックな世界を作るプロジェクトであり、自然シーン、室内シーン、関節付きシミュレーション資産を扱うスタートガイドを提供する
  • ユーザーはインストール後、Infinigen-Indoors、Infinigen-Nature、Infinigen-Articulated の流れを通じて、部屋のシーン、自然シーン、シミュレーター向けの関節付き資産の生成を始められる
  • 関連研究は、CVPR 2023 論文 Infinite Photorealistic Worlds using Procedural Generation、CVPR 2024 論文 Infinigen Indoors、2025年の arXiv 論文 Infinigen-Articulated へと続いている
  • ドキュメントには、インストール、カメラ設定、事前生成データのダウンロード、個別資産の生成、OBJ・OpenUSD などの外部ファイル形式へのエクスポート、物理シミュレーションへのエクスポート、拡張 ground-truth などが含まれる
  • 貢献方法は、リポジトリコード、手続き型ジェネレーター、事前生成データの提供に分かれており、Blender Nodes を Python コードへ変換するツールと GitHub Issues ベースのサポート手順が案内されている

Infinigenが提供する生成対象

  • Infinigen は、手続き型生成によってフォトリアリスティックな世界を作るプロジェクトである
  • 開始フローは3つに分かれている
    • Hello Room: Infinigen-Indoors で室内シーンを生成する
    • Hello World: Infinigen-Nature で自然シーンを生成する
    • Infinigen-Articulated: 関節付きシミュレーション資産を生成し、シミュレーターへエクスポートする流れを提供する
  • このプロジェクトは、Webサイト、紹介動画、論文、ドキュメント、貢献ガイドをあわせて提供している

始め方と例

  • まず Installation Instructions に従ってインストールする必要がある
  • Infinigen-Indoors の導入ドキュメントは HelloRoom.md にある
    • 例の画像では、Blender シーン、レンダリング結果、depth、object 関連の出力が示されている
  • Infinigen-Nature の導入ドキュメントは HelloWorld.md にある
    • 例の出力には、画像、depth、surface normal、instance segmentation が含まれる
  • Infinigen-Articulated の開始フローは Exporting to Simulators ドキュメントにある
    • 関節付き資産をシミュレーターにエクスポートするユースケースを扱う

関連論文

ドキュメントの範囲

  • ドキュメントは、インストールと最初のシーン生成だけでなく、設定・カメラ・データ・エクスポート の流れも扱っている
  • 提供されるドキュメント項目には次が含まれる
    • Installation Guide
    • “Hello World”: 最初の Infinigen-Nature シーンを生成
    • “Hello Room”: 最初の Infinigen-Indoors シーンを生成
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, 例: OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • プロジェクトのロードマップは Infinigen Webサイトの roadmap ページで提供されている

貢献とサポート手順

  • 貢献方法は3つ案内されている
    • リポジトリコードへの貢献: コード貢献を受け付けており、より詳しいガイドは今後提供予定である
    • 手続き型ジェネレーターへの貢献: infinigen/nodes/node_transpiler/dev_script.py は、artist-friendly な Blender Nodes を Python コードへ変換するツールを提供する
    • 事前生成データへの貢献: 誰でも計算資源を使ってデータを作成し、コミュニティと共有でき、事前生成データのリポジトリは今後提供予定である
  • 支援の依頼は GitHub Issues ページに投稿するよう案内されている
  • 問題の再現のため、コマンドを --debug で実行し、次の情報を含める必要がある
    • OS バージョン、CPU、RAM、GPU、ドライバーを含む 計算環境
    • 使用したコードのバージョンと commit hash のリンク、変更の有無
    • 実行した正確なコマンド
    • 出力ログ
      • manage_jobs 使用時は outputs/MYJOB/MYSEED/logs/ でログを確認する
      • Python エラーや stacktrace があればあわせて提供する

ベースとなるプロジェクトと変化

  • Infinigen は、Blender Foundation とオープンソース貢献者たちの作業なしには成立しなかったと述べている
  • 使用プロジェクトとして、Land-Lab、BlenderProc、Blender-FLIP-Fluids、Blender-Differential-Growth が特に言及されている
  • Thomas Kole は手続き型の雲を提供した人物として謝辞に含まれている
  • 多数のオンライン Blender チュートリアルは、初期実験用の手続き型ジェネレーターを提供し、公式リリース実装に着想を与えた資料として整理されている
  • Infinigen は CVPR 論文版以降、大きく変化している
    • 現在はインターネット上で入手した CC-0 ライセンス の手続き型コードの一部を含んでいる
    • 該当コードは適用箇所にコードコメントで示されている
    • CVPR 版にはそのようなコードは含まれていなかった

関連記事

1件のコメント

 
GN⁺ 2024-12-24
Hacker Newsのコメント

  • 本当にすごいプロジェクトだ。
    HNのML/AI研究者に聞きたいのだが、これを学習に使った論文はあるのだろうか。たとえば仮想環境でロボットを訓練するようなものだ。
    最近のML/AI分野でロボット訓練にはどんなデータセットが使われているのかも気になる。

    • 動画によると「Infinigenは100%手続き型生成だ。数学的ルールだけを使っていて、AIは一切なく、単なるグラフィックスだ」とのこと。
      タイムスタンプ: https://youtu.be/6tgspeI-GHY?t=107
    • Nvidia Researchが生成された環境でロボットなどを訓練する動画を見た気がする。
      すぐには見つけられないが、NvidiaのOmniverseが中核要素の一つだ。

  • これ、前にも投稿されていなかったか？ すごいのは確かだが、数年前のプロジェクトだと認識している。アップデートがあったのか気になる。

  • 室内シーンは完全にもっともらしく見えるが、屋外はまだ物足りない点が多い。最先端レベルとはかなり差がある。

    • では、オープンソースで、できればライブラリとして使えて、生成AIではない最先端のものには何があるのだろう？ インタラクション/ゲーム開発/リアルタイム用途を想定している。
    • No Man's Skyのさまざまなバージョンよりも見劣りするし、LLM界隈の人たちが作っているあらゆる狂った成果物と比べるとなおさらそう思う。
    • それでも海の水は、今あるどのビデオゲームよりもはるかに良かったのは認めるべきだ。ほかはまあその通り。
    • 最先端って何を指すべきなんだろう？

  • こういうことが可能だという事実は、宇宙について何かを物語っている気がする。環境には、私たちが考えるほど情報量が多くないのかもしれない。
    これは、脳、特に動物の小さな脳が世界をモデル化し、その中で機能する際に見せる不合理なほど高い効率を説明できるかもしれない。

    • それは宇宙をかなり表面的に見た考え方だ。
      存在は観測されるかどうかで制限されない。脳は、特定の環境で生物を生かすために必要な最小限の情報だけを集めるよう進化してきた。しかし、私たちが知覚できるものの中にさえ、宇宙には数え切れないほどの複雑さがある。
      3Dモデリングではそうした細部は重要ではないため、写真のようなリアリズムに近づける。レンダリングは、脳をだまして実世界の物体を見ていると感じさせるのに十分なくらいには見栄えが良い。しかし、あくまで視覚面での良い近似にすぎず、現実の物体を適切に表現しているわけではまったくない。そのレベルを実現するには計算資源が圧倒的に足りない。
      現実世界で光がどう振る舞うかをリアルタイムでモデリングできるようになったのも最近のことで、それでさえ近似だ。いずれにせよ、Infinigenはすばらしいプロダクトに見えるし、久しぶりにAIではなく古典的シミュレーションを見るのもいい。
    • 「こういうことが可能だという事実が宇宙について何かを語っている」のなら、Final Fantasy 7のキャラクターモデルも人間の内分泌系について何か語っていることになる。
      Aerisは副腎が見えなくても明らかに人間として認識されるのだから、現実にも副腎がないのかもしれない、というような話だ。
    • 「地図は領土ではない」
    • 「There's plenty of room at the bottom.」[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • 宇宙というより、人間の脳についてより多くを示していると思う。私たちの知覚がどれほど簡単にだまされるかを物語っている。

  • READMEを見ただけでははっきりしないが、ここでいう無限が、一つのシーンの無限のバリエーションを作れるという意味なのか、それとも無限の世界を生成するという意味なのかわからない。

  • 以前の投稿: https://news.ycombinator.com/item?id=36373494

  • 共有されたときにメタタグの説明がプレースホルダーの内容に見えるので、更新したほうがいい。

  • 著者一覧に中国の主要大学がいくつも見えるが、一見するとチップ規制/輸出規制違反を意味しているのではないか？

    • 論文では、共著者たちはPrinceton所属だった時点で研究を行ったと書かれている。

  • Matrixっぽい導入がまったく微妙ではない