CityGaussian: ガウシアンを活用したリアルタイム高品質大規模シーンレンダリング

CityGaussian: 高速・高品質な大規模シーンレンダリングのためのガウシアン手法

• CityGaussian (CityGS) は、大規模3D Gaussian Splatting（3DGS）の効率的な学習とリアルタイムレンダリングのための新しいアプローチを提案する。
• グローバルなシーン事前知識と適応的な学習データ選択により、効率的な学習とシームレスな結合が可能になる。
• ガウシアンのプリミティブデータを基にさまざまな詳細度レベルを圧縮生成し、提案されたブロック単位の詳細度レベル選択および集約戦略によって、さまざまなスケールで高速なレンダリングを実現する。
• 大規模シーンに対する広範な実験結果は、このアプローチが最先端のレンダリング品質を達成し、スケールが大きく異なる大規模シーンを一貫してリアルタイムにレンダリングできることを示している。

SOTAとの比較

• CityGSなしのLoD技術: MatrixCityは2500万個のガウシアンで表現されており、A100でのテストでは18 FPSとなり、不快なローミング体験を引き起こす。
• CityGSとLoD技術: LoDのサポートにより、CityGSはスケールが大きく異なる環境でもリアルタイムにレンダリングでき、A100でのテストにおける平均速度は36 FPSである。

視覚的比較

• MegaNeRF、SwitchNeRF、GPNeRF、3DGSなどの既存技術と比較し、CityGSの優れたレンダリング品質を視覚的に示している。

GN⁺の見解

• CityGaussianは、大規模3Dシーンをリアルタイムでレンダリングするうえで重要な技術的進歩を示している。これは、仮想現実、ゲーム開発、都市計画、シミュレーションなどの分野での応用可能性を高める。
• リアルタイムレンダリングはユーザー体験を大きく向上させる要素であり、CityGaussianが提供する高いフレームレートは、その体験をより滑らかで現実的なものにするだろう。
• ただし、リアルタイムレンダリング技術は一般に高性能な計算資源を必要とし、これはコストやアクセス性の面で制約となる可能性がある。
• この技術が広く採用されるためには、ハードウェアの進歩とあわせて最適化技術の継続的な改善が必要である。
• また、CityGaussianと類似した技術を用いる他のプロジェクトや製品が市場に存在する可能性もあるため、利用者は自分の要件に合った最適なソリューションを選ぶために複数の選択肢を比較する必要がある。

[GN⁺]

Hacker Newsの意見

• Google Mapsの3DタイルとGaussian Splatを組み合わせた実験的なプロジェクトを紹介している。この技術により実写に近い効果を実現しており、関連コードを含むサンプルが提供されている。
  • 例1: kfarrのTwitterリンク
  • 例2: 3dstreetappのTwitterリンク
• 動画で使われたデータセットは「Matrix city」で、数年前に公開されたUnreal Engine 5のMatrixデモから抽出されたものと思われる。写真ではなく、フォトリアリズム手法で制作されたものと推測される。
  • Matrix cityウェブサイト
• 平均フレームレートは36fpsで、A100グラフィックカードでテストされている。このグラフィックカードの価格は約$8,000である。
• Gaussian Splatという技術はガウスの名にちなんで名付けられており、ガウス自身が直接発明したわけではないが、この技術の数学的基盤に大きく貢献している。
• Unreal Engineが最近驚くべきデモを披露できた技術がGaussian Splatなのか、という技術的な疑問がある。
• この技術がどのようなライセンスで公開されるのか期待しており、オープンソースゲームで活用されるのを見たいという意見がある。
• 3D Gaussianを使って大規模なシーンをレンダリングする高度な技術に対する好奇心や、コードを試してみたいという興味深い反応がある。
• この技術は既存の都市シミュレーションゲームである「Cities: Skylines」より目に見えて優れている点がないように見え、限られたフレームしか示されていないため実際の効果を把握しにくいと指摘する意見がある。
• 3D Gaussian Splatが本当に有用なのか疑問を呈するコメントがある。レンダリング速度が遅すぎ、データ量も多いため実用的でない可能性があるという懸念とともに、ラスタライズはレイトレーシングより常に高速であるという主張がある。Gaussian point cloudから従来のジオメトリやマテリアルを生成するのは興味深いが、フォトグラメトリ自体はかなり以前から使われていることにも触れている。
• この技術のメモリ要件と計算要件についての質問がある。