MeshGPT: デコーダ専用トランスフォーマーを用いた三角形メッシュ生成技術
(nihalsid.github.io)MeshGPT: 三角形メッシュ生成のためのデコーダ専用トランスフォーマー
- MeshGPTは、学習済みの幾何学的語彙からトークンを生成するトランスフォーマーモデルを自己回帰的にサンプリングすることで、三角形メッシュを生成する。
- これらのトークンは三角形メッシュの面へとデコードでき、生成されたメッシュはクリーンで一貫性があり、シャープなエッジと高い忠実度を特徴とする。
要約
- MeshGPTは、アーティストが作成したメッシュの特徴であるコンパクトさを反映した新しい三角形メッシュ生成手法であり、ニューラルフィールドから抽出された高密度な三角形メッシュとは対照的である。
- 強力な大規模言語モデルの近年の発展に着想を得て、三角形のシーケンスとして三角形メッシュを自己回帰的に生成するシーケンスベースのアプローチを採用している。
- まずグラフ畳み込みを用いて潜在的に量子化された埋め込みの語彙を学習し、これらの埋め込みはメッシュを効果的に再構成できるようデコーダによってシーケンス化され、三角形へとデコードされる。
動画比較およびその他の応用
- MeshGPTのアプローチは、シャープな幾何学的ディテールを持つコンパクトなメッシュを生成し、既存手法はこうしたディテールを見落としたり、過度に三角形化されたメッシュを生成したり、単純すぎる形状を出力したりする傾向がある。
- 部分的なメッシュが与えられた場合、この手法は複数のあり得る形状補完を推論できる。
- この手法はシーン用の3Dアセット生成に利用でき、ここではこの手法で生成したアセットで満たされた部屋を示している。
手法の概要
- まず三角形メッシュのための語彙を学習し、それを用いてメッシュの自己回帰生成を行う。
- 多様な形状コレクションから幾何学的埋め込みの語彙を学習し、これはベクトル量子化を備えたエンコーダ・デコーダネットワークを特徴とする。
- 完全に学習が完了すると、このトランスフォーマーは学習済み語彙からトークンのシーケンスとしてメッシュを直接サンプリングできるようになる。
GN⁺の意見
MeshGPTは、既存のメッシュ生成手法を上回る革新的なアプローチを提示することで、形状カバレッジとFIDスコアにおいて顕著な改善を示している。この技術は3Dモデリングおよびコンピュータグラフィックス分野における大きな前進を意味しており、特に人間が作成したメッシュの効率的な三角形化パターンをよりよく模倣する、コンパクトでシャープなエッジを持つメッシュを直接生成できる能力が興味深い。こうした進展は3Dコンテンツ制作者に新たなツールを提供し、より高品質な3Dアセットをより速く効率的に生成できる可能性を開く。
1件のコメント
Hacker Newsの意見
革新的なアイデアの形を示す研究で、論文には詳細な内容が数多く含まれている。トランスフォーマーモデルがスケール可能であることは知られており、このアイデアは多くの企業が一般的な3Dアセット生成パイプラインを学習させるために使うことになると予想される。
機械学習エンジニアで、Blenderや趣味のゲーム開発に関心がある身として、この研究は印象的ではあるが、限られた家具の例については実用的な手法としてはあまり有用ではない。熟練したモデラーならこうしたメッシュを5分以内に作れるし、生成のためのポリゴンも依然として必要だ。次の段階は、LLMを用いたシード生成の制御と、アーキテクチャの自己回帰部分に画像モデルを追加することだろう。そうなれば、本当にモバイルゲーム向けに適したアセットが見られるはずだ。
3D/映画制作を職業にしている者として、現状は非常に興味深く、同時に恐ろしくも感じる。
入力が何なのか気になる。「椅子」のようなテキストクエリをメッシュに変換するのだろうか？ 修正: メッシュ補完が主要な入出力手法のようで、単なる機能ではないようだ。
90年代以降、大きな進展がなかった残された難問が、トランスフォーマーによって何らかの形で解決されそうに思える。今という時代に生きているのは興味深い。
次の革新は、VRの前でこのようなモデルを使って3Dシーンを生成するUXになるだろう。これにより、訓練データを持つあらゆる環境について、永続的で任意の3D環境を_生成_できるようになるはずだ。拡散モデルはテクスチャ生成に使えるだろう。
これが「単なる」メッシュ自動補完だとしても、3Dアーティストにとっては非常に有用だ。現在、キャラクターをスカルプトする方法とアニメーションする方法の間には隔たりがある。モデルのリトポロジーには多くの時間がかかる。粗いメッシュを持ち込んでクリーンなトポロジーを提供するトランスフォーマーベースのリトポロジーは、大きな時間節約になるだろう。
この分野が大好きだ。論文には素晴らしいWebサイト、例、動画が含まれている。抽象、序論、結果が密に詰まった論文スタイルより、ずっと新鮮に感じる。
この技術は本当にかなり良くなってきている！ まだ奇妙なエッジはあるが、今ではアルゴリズム的あるいは複雑な問題というより、「反復する細部」のように感じられる。すべてのメッシュを1つのフォルダに入れてネットワークを学習させ、そのスタイルで別のものをリクエストできるようになれば、作られたものをリトポロジーしたり、ほかの創造的な手を加えたりする必要もなくなるだろう。もちろん、完全にその段階に到達するまでは依然としてprocgenのほうが優れた役割を果たすだろうが、この技術がどれほど速く進歩しているのかにとても興奮している！ 来年のUnrealショーケースで新しい「Asset Generator」機能について語られることを期待している。
この技術は本当にすごくクールに見える！ インディーゲーム開発者が多くのアセットを生成するうえで、とてつもなく大きな助けになりそうだ。