「Gaussian splatting」はかなりすごい

• 「3Dガウシアン・スプラッティングによるリアルタイム放射場レンダリング」という論文に関する記事
• ガウシアン・スプラッティングは、位置、回転、サイズ、不透明度、色を持つ数百万個の粒子で3Dシーンを表現する方法
• 粒子は拡張された球体としてではなく、スクリーン空間上の2Dガウシアンとしてレンダリングされる
• 論文の著者らは、勾配降下法と微分レンダリングを用いて、写真で表現されたシーンを表す数百万個の粒子を生成する方法を開発した
• 著者らはまた、この数百万個のスケーリングされた粒子を高速にレンダリングする方法も開発した
• 記事の著者は、Unityでガウシアン・スプラッティングのリアルタイム可視化部分を実装し、データサイズを削減する方法を検討している
• 記事ではまた、2001〜2002年ごろに発明されたガウシアン・スプラッティングの歴史と、これまでの応用についても論じている
• 著者はGitHubでガウシアン・スプラッティングの実装を共有しており、動作はするものの公式実装ほど高速ではないと指摘している
• 著者はまた、ガウシアン・スプラッティングを使う際にはデータサイズとメモリ使用量が重要な検討事項であり、記事で使われたサンプルシーンにはディスク上で1.5GBのデータが必要だと述べている

[GN⁺]

Hacker Newsの意見

• ガウシアン・スプラッティングの潜在力に関する記事で、複数の画像から3Dシーンを再現する技術が技術愛好家の間で興奮を呼んでいる
• ガウシアン・スプラッティングは、過去の環境を再現する有望なツールであり、思い出の波を呼び起こす可能性がある
• 勾配降下法と「微分可能レンダリング」を使用し、「ニューラル」関連の用語を避けている点について、一部の読者は流行に迎合しないとして称賛している
• しかし一部の読者は、ニューラルネットワークを避けること自体は称賛されるべき目標ではないとも主張しており、人気には理由があり、優れた関数近似器だとしている
• 記事では、ゲームのパーティクルシステムの中核であるポイントベースレンダリングにも触れており、読者たちは近年のゲームにおけるパーティクルシステムの変化に注目している
• 一部の読者は、ガウシアン・スプラッティングが動的ライティングや動きをサポートできるのか疑問視しており、シーン/放射場は通常静的で、照明が組み込まれているとしている
• この技術は『Cyberpunk 2077』のブレインダンスの概念になぞらえられており、これはプレイヤーが他人の視覚的記憶の中を移動できるというものだ
• 読者たちは、3D Gaussian Splatting rendering の初の WebGPU 最適化実装と、効率的なシーンデータの圧縮および展開に期待している
• 一部の読者は、ガウシアン・スプラッティングの使い方に関する資料、たとえば YouTube の初心者向けガイドなどを共有している
• この技術は新しいものではなく、1991年のボリュームレンダリングのためのスプラッティングへの言及や、90年代後半のボクセル iso-surface の使用にも触れられている
• 読者たちは、空間の動画を3Dシーンへ変換する技術である Structure from Motion の最新動向についても気にしている