3D表現を効率的な3Dメッシュへ変換するMeshAnything技術

MeshAnything: アーティスト制作メッシュ生成

概要

• MeshAnythingは、人間のアーティストが3D表現からメッシュを抽出する方法を模倣する。
• さまざまな3Dアセット生産パイプラインと組み合わせることで、3D産業に適用可能なアーティスト制作メッシュ（AM）を生成できる。

既存手法との比較

• MeshAnythingは、数百倍少ない面数でメッシュを生成し、保存・レンダリング・シミュレーションの効率を大幅に向上させる。
• 既存手法と同等の精度を達成する。

手法

• MeshAnythingは、与えられた3D形状に適合したアーティスト制作メッシュを生成する自己回帰型トランスフォーマーである。
• 与えられた3Dアセットからポイントクラウドをサンプリングし、それを特徴量としてエンコードしてデコーダ専用トランスフォーマーに投入する。
• 複雑な3D形状分布を学習する代わりに、最適化されたトポロジーによって効率的に形状を構成する。

さらに多くの結果

• さまざまな3Dアセット生産手法と統合し、高度に制御可能なアーティスト制作メッシュ生成を実現する。
• MeshAnythingは、より良いトポロジーと少ない面数でメッシュを生成し、類似した形状を保ちながら完全に異なるトポロジーを生成できる。

GN⁺の見解

• 効率性: MeshAnythingは既存のメッシュ生成手法よりもはるかに少ない面数でメッシュを生成し、保存およびレンダリング効率を大幅に向上させる。
• 適用性: さまざまな3Dアセット生産パイプラインと統合できるため、3D産業全体での活用可能性が高い。
• 技術的利点: 複雑な3D形状分布を学習しなくても、最適化されたトポロジーによって効率的に形状を構成できる。
• 批判的視点: 新技術の導入時には、既存システムとの互換性の問題や初期学習コストが生じる可能性がある。
• 推奨される代替案: 類似機能を持つ別プロジェクトとしてはMeshGPTなどがあり、各プロジェクトの長所と短所を比較してみるとよい。

[GN⁺]

Hacker Newsのコメント

• 3Dモデル生成の論文はしばしば批判されがちだが、この研究は歓迎に値する。ただし、非商用ライセンスなのは残念。GitHubの情報によると、A6000 GPUでメッシュ生成に約7GBと30秒を要し、800面以下のメッシュしか生成できない。
• ローポリゴン生成結果としては最高クラス。まだ三角形メッシュだが、着実に良くなっている。
• 最終目標は、四角形中心のポリゴン、エッジのスムーズ/クリース、自然なテクスチャUV、反復テクスチャによるPBRテクスチャ生成。その後は、画像からCADモデルを推論する方向に進むべき。
• LiDARスキャンやフォトグラメトリで生成された大規模メッシュやポイントクラウドを扱うには、高性能PCと高価なソフトウェアが必要。メッシュを小さくしてWebで共有できるようにするのは有用だろう。
• ポイントクラウドスキャンを手作業で処理した経験がある。450GBのデータが生成され、以前のプロジェクトでは2.1TBだった。この論文のスケールはおもちゃのように感じるが、始まりが重要だ。
• AI生成メッシュを「アーティストが作った」と呼ぶのは誤解を招く。
• 社会的影響の段落で労働コスト削減に触れている点が良い。アーティストの必要性を減らすものではないという点が重要だ。
• いくつか複雑なモデルで試してみる予定。
• MeshAnythingは、数百倍少ない面数のメッシュを生成し、保存・レンダリング・シミュレーション効率を大幅に向上させる。
• オンラインデモを試したが、出力メッシュに元にはなかった穴ができた。アルゴリズムに問題があるのではないかと思う。
• 変換されたメッシュは効率的ではなく、n-gonsが多いためリトポロジー作業が必要。