MeshGPT: デコーダ専用トランスフォーマーによる三角形メッシュ生成

 (nihalsid.github.io)
1 ポイント 投稿者 GN⁺ 2023-11-29 | 1件のコメント | WhatsAppで共有
  • MeshGPTは三角形メッシュをトークン列として生成し、人が作成したモデルのようなシャープなエッジと簡潔な三角形分割を持つメッシュ生成を目指す
  • 高密度な iso-surfacing の結果とは異なり、学習された幾何学語彙をサンプリングして、より compact なメッシュ構造を直接生成する
  • グラフ畳み込みとベクトル量子化ベースのエンコーダ・デコーダが、まずローカルな幾何とトポロジーを含む埋め込み語彙を学習する
  • デコーダ専用トランスフォーマーは以前の埋め込みをもとに次のインデックスを予測し、学習後は語彙から系列をサンプリングして新しいメッシュを生成する
  • さまざまなカテゴリでshape coverage が 9% 向上、FID スコアが 30 ポイント改善し、部分メッシュ補完やシーン用 3D asset 生成にも活用できる

MeshGPTのメッシュ生成方式

  • MeshGPTは三角形メッシュを三角形シーケンスとして捉え、学習された幾何学語彙からトークンを生成した後、それを三角形面へデコードする
  • 生成結果は clean、coherent、compact なメッシュを志向し、sharp edgesと高い忠実度が中核的な特徴である
  • 既存のベースラインと比べると、鋭い幾何学的ディテールを維持しながら、より簡潔なメッシュを生成する
    • ベースラインではディテールを取りこぼしたり、過剰に三角形分割されたメッシュを作ったり、過度に単純な形状を出力したりする場合がある
  • さまざまなカテゴリでの定量比較において、最新のメッシュ生成手法より改善された結果を示した
    • shape coverage 9% 向上
    • FID スコア 30 ポイント改善

学習パイプラインと活用

  • まず大規模な shape collection から、三角形メッシュ用の幾何学埋め込み語彙を学習する
    • エンコーダ・デコーダネットワークを使用する
    • ボトルネック区間にベクトル量子化を含む
    • グラフ畳み込みにより、埋め込みがローカルなメッシュ幾何とトポロジー情報を保持するようにする
  • 学習された語彙はシーケンスとして構成され、デコーダはそれを再び三角形へ復元できる
  • トランスフォーマーは学習済み語彙のトークンシーケンス予測を担う
    • 以前の埋め込みを入力として受け取り、次の埋め込みインデックスを予測する
    • 学習完了後は語彙からシーケンスを直接サンプリングしてメッシュを生成する
  • 部分メッシュが与えられると、複数の可能なshape completion結果を推論できる
    • ユーザーが partial input mesh を編集する過程でも completion の例を提示できる
  • シーン用の3D asset 生成にも利用でき、MeshGPTで作成した asset で部屋を埋めた例がある

資料と関連研究

関連記事

1件のコメント

 
GN⁺ 2023-11-29
Hacker Newsの意見

  • こういうものこそ本当に革命的なアイデアだと思う。論文には細部が非常に多く、トランスフォーマーがスケール可能であることもすでに分かっている。
    多くの企業が、汎用的な3Dアセット生成パイプラインを学習させるためにこのアイデアを使うことになりそうだ。「まずグラフ畳み込みを用いて潜在量子化埋め込みの語彙を学習し、この埋め込みにローカルなメッシュ幾何とトポロジー情報を持たせる。それらの埋め込みを順序化し、デコーダが三角形へ復元することでメッシュを効果的に再構成できるようにする」という発想は、振り返るとあまりにも美しく、当然に思える。
    また、「自己回帰生成のためにメッシュ M を表現する実用的なアプローチとして、生成するトークンを三角形のシーケンスとして定義する」という部分も本当に見事だ

    • すごいことはすごいが、最近の3D再構成分野の基準ではかなり一般的な流れでもある。この論文を特別に革新的とか例外的だとは思わない。
      この分野で本当に惹かれるのは、単一画像から3Dメッシュを作り、何百万もの多様な3Dモデルで学習した大規模3D再構成モデルである https://yiconghong.me/LRM/ のほうだ
    • ここでもう一つ注目すべきなのは、学習に必要なのが多くてもA100を4枚で合計7日間ほどだという点だ。本当に最先端の仕事がすべてデータセンター級クラスターを必要とするわけではない
    • 量子化埋め込みが何なのか説明してもらえる？
    • 「トランスフォーマーはスケール可能だと分かっている」と言うが、他のモデルはスケールしないという強い証拠があるのか、それとも単に私たちがトランスフォーマーにより多くの時間を注いできただけなのか気になる。
      畳み込み ResNet もビジョンと言語でスケールするように見える: (cv) https://arxiv.org/abs/2301.00808, (cv) https://arxiv.org/abs/2110.00476, (nlp) https://github.com/HazyResearch/safari
      多層パーセプトロンもスケールするようだ: (cv) https://arxiv.org/abs/2105.01601, (cv) https://arxiv.org/abs/2105.03404
      もちろんアテンションを捨てる強い理由もないが、10億パラメータ規模の多層パーセプトロンや畳み込みモデルを問題に投げ込んでみた人もほとんどいないと思う。アテンション、トランスフォーマー、そしてそのスケーリングには、毎年数千本の論文が出るほど莫大な努力が注がれており、他のアーキテクチャではそのレベルはあまり見られない。
      The ResNet Strikes Back 論文が良い理由の一つは、誇大広告に流されず、進歩は相互に組み合わさっていることを思い出させてくれる点にある。もともと ResNet の時代以降に多くの学習手法を学んできており、それを ResNet に適用すれば性能は大きく向上して差はかなり縮まる。少なくとも私が研究しているビジョン分野ではそうで、論文を出さなければ生き残れない環境と流行中心の査読のせいで、研究が一方向に偏りやすい
    • これが以前にDNAとRNAシーケンスへ適用された似た手法とどう違うのか気になる

  • 機械学習エンジニアであり、Blender と趣味のゲーム開発を少しやっている立場からするとかなり印象的ではあるが、限られた家具の例を見る限り、まだ実用的な水準ではない。
    熟練したモデラーならこうしたメッシュを5分以内で作れるし、生成も依然としてポリゴンでシードする必要がある。
    次の段階は、LLM がシード生成を制御し、構造の自己回帰部分に画像モデルを加える方向だと思う。そうなれば本当にモバイルゲーム向けアセットが見られるかもしれない

    • 「熟練したモデラーならこうしたメッシュを5分以内で作れる」といったAIワークフロー批判は、あまり有用ではないと思う。ほとんどの人は熟練モデラーではないし、そういう人を知っているわけでも、雇うお金があるわけでもない。
      多くの場合、専門家より時間がかかり品質が劣っても、現実的な代替案が何もないことなら、こうしたツールのほうが良い
    • いいね。じゃあ必要なときにオンデマンドで働いて5分単位で課金してくれるモデラーを紹介してくれる？
      1モデルあたり1〜2ドルだけ払って、自分のゲームに合わせたものをすぐ入れられるなら本当にうれしい
    • これは熟練モデラーのためだけの話ではない。Stable Diffusion がプロの画家だけのものではないのと同じだ。
      重要なのは非専門家にツールを与えることであり、同時に熟練モデラーが将来の AAA ゲームに必要な椅子のバリエーション1万個のような作業から解放され、もっと面白い仕事に集中できるようにすることだ。彼らは独特なキャラクターや、学習データにはなく、本当に想像力と専門性が必要な新しい未来的モデルを作れる
    • ここに出ているメッシュトポロジーでは、ほぼどんな専門的な作業でもアセットとして却下されるだろう。熟練したモデラーなら、5分以内でテクスチャリングや変形にもっと適した、はるかに高品質なモデルを作れるし、スピードモデラーなら1分以内でも似たものを作れる。
      Blender Geometry Nodes のようなプロシージャルシステムでも、すでにこうしたモデルの無限のバリエーションを吐き出せる。それでも進歩の速さは驚くべきものだ
    • 熟練した開発者が LLM でワークフローをブートストラップするように、熟練したモデラーもまもなくこうしたツールを日常のワークフローの一部として使うようになるだろう。ライトユーザーでも本来できなかったことができるようになるが、その知識領域の専門家が使うと本当に真価を発揮する。
      特定のユースケースに関する経験が多いほど、機械学習モデルからより多くの効用を得られると信じている。
      残念ながら、まさにそういう人たちこそ、実際に役立つ水準まで練習してみることもなく、導入に最も抵抗を示すことが多い。おそらく問題の一部は、これを魔法の杖のように期待していることにあるのだろう。実際には新しい PhotoShop、Blender、Microsoft Word、PowerPoint のようなツールにすぎない。
      たいていの人はそうしたアプリを開いて、しばらく意味もなくクリックしたあと、すぐ去って二度と戻ってこない。「AI」も同じだ

  • 自分が選んだ職業である3D／映画制作は、最近は塹壕戦の中にいるような感覚だ。面白くもあるし、怖くもある

    • これは自動スキャフォールディングと見ることもできる。一般的なモデリングやCADツールがより速く作業を始められるように、こうした機能を組み込めるはずだ
      もう一つの大きな利点は組み合わせの可能性だ。モデルがカップとテーブルを生成できるなら、テーブルの上のカップも生成する方法を知っているということでもある
      プロジェクトに合った複雑なギアや機械部品を瞬く間に作り、望む位置と回転で正確に配置できると考えればいい。GitHub Copilotの動作の仕方によく似ている
    • この点では、LLMがプログラミングより3Dアニメーションで大きく先に進んでいるようには見えない。個別に見ればよさそうな断片を吐き出すことはできるが、パズルは人間が組み立てなければならない。そしてそのパズルを組み立てるというのは、多くの場合その断片の大半を書き直すか作り直すことを意味する
      当面は安全だが、新しい技術を活用する方法は学ばなければならない
    • ビッドプロデューサーの役割を知っているなら、彼らが直面している苦労も想像できるはずだ。片方では映画制作者たちが「今はこういうものもAIが作ったらしい」と言い、もう片方ではビッドプロデューサーやVFX／アニメーションスタジオの顧客たちが、あらゆるものがまた一から新しくなったかのように慌てている
    • 3D CGIは、AIがなくてもこの30年ですでにものすごい速度で進歩してきた。今日のツールは、スカルプト、シミュレーション、自動リギングなどの面で質的に変わっている
    • あなたの分野ではこの技術のユースケースをどう見ている？ 品質が高そうか気になる

  • 入力は何なのか？ 「chair」のようなテキストクエリをメッシュに変えるのか？
    見たところ、単なる付加機能ではなくメッシュ補完が主要な入出力の方式のようだ

    • そう、把握しづらい
      入力そのものが3Dメッシュのように見える。だからモデルは「形状補完」をしているのだと思う。たとえば脚がいくつかあるだけの状態を見て椅子を生成するような感じだ。あるいは入力形状がより完全な場合は、「変形」を生成しているのかもしれない
      それでも出発点としては悪くなさそうだ。品質は低いが、テキストからメッシュを作る別のモデルの出力を入力として入れ、このモデルでより鮮明で一貫した結果を得ることもできそうだ
    • 言語専用LLMに言語でプロンプトを与えるように、このLLMには補完させる3Dメッシュをプロンプトとして与える方式だ
    • 自分もそこが気になった。図を見ると入力は別の椅子のメッシュのようなので、少し魅力が薄れる

  • 90年代以降ほとんど進展がなかった残りの難問が、すべて何らかの形でトランスフォーマーによって解かれる順番を待っているように感じる。本当にすごい時代だ

  • 次のブレークスルーは、こうしたモデルの前でVRを使って3Dシーンを作るUXになるはずだ。学習データのある環境なら、事実上永続的で任意の3D環境を生成できるようになる
    テクスチャ生成には拡散モデルを使える
    Markは正しくて、しかも本当に早すぎた

    • Mark？
      ああ、あのMark？ うける、分かった
      むしろLecunみたいな人に功績を帰すべきじゃないか？ Markがメタバースに全振りしたのは、ディープラーニングがブレークすると何らかの形で予測していたから、というのはさすがに違う。初期モデルを学習した人たちですら、それがどれほどうまくいくか確信していなかった

  • これが「ただの」メッシュ自動補完だとしても、3Dアーティストにとってはものすごく有用だ。今はキャラクターをスカルプトするやり方とアニメーションするやり方の間に断絶がある。普通はモデルをリトポロジーする時間のかかる工程が必要になる
    ラフなメッシュを受け取ってクリーンなトポロジーを出力するトランスフォーマーベースのリトポロジーなら、大きな時間節約になるはずだ
    もう一つの応用は、Gaussian splattingや拡散モデルの出力をMeshGPTに入れることだ。テキストから直接、クリーンなトポロジーを持つ実用的なアセットが得られる

    • 3Dアーティストのためというより、これは生涯一度も手でメッシュを作ったことがない人たちの99%が使うことになると思う。3Dアーティストを雇う必要を置き換えたい人たち、たとえばデザイナーにお金を払いたくない、あるいは払えないプログラマー、CAD以外を学んだことのない建築家、Fiverrの仕事のような領域だ
      ここでは、自動化そのものを自動化する方向に少しずつ進んでいることがあまり実感されていないように思う。そしてこれで生計を立てられるプログラマーは、今生計を立てられている人たちの中でもごく一部になるだろう
    • こうしたやり方は分布内／分布外データに非常に敏感だということを理解する必要がある。ユーザーデータをそのまま突っ込んでも、たぶんまともには動かない
    • 悪いけど、キャラクター向けのクリーンなトポロジーを生成するのは、かなり長い間不可能だと思う

  • この分野はいい。論文にすばらしいウェブサイト、例、動画が含まれている
    ぎっしり詰まった要旨、序論、結果中心の論文スタイルよりずっと新鮮だ

  • 本当にすごそうだ。インディーゲーム開発者が大量のアセットプールを生成するのにとても役立ちそう

    • こういう技術のせいでインディーゲーム開発は終わったと思う
      その代わり大企業が「自分だけのゲームを作るゲーム」を作るようになるだろう
      最近のインディーゲームもすでにかなり派生的に感じられる。中期的には、大企業がこの技術を使ってインディーゲームを潰していく気がする

  • うわ、本当に良くなってきている。変なエッジのせいでまだ先は長いが、この時点ではアルゴリズム上の問題や複雑な問題というより、反復的な改善項目のように感じる
    無数の小さなメッシュ修正子をドライバにつないだ手続き型生成ライブラリに、すべてのメッシュを入れる必要がなくなれば、自分のパイプラインは本当に速くなるはずだ。代わりにメッシュを全部フォルダに入れてネットワークを学習させ、同じスタイルの別のものをリクエストすればいい。もっと創造的に手を入れたいのでなければ、リトポロジーやその他の手作業をしなくても済むと分かる
    もちろんそのレベルに完全に達するまでは、依然として手続き型生成の方が優れているが、これほど速く完成に近づいているのは本当に楽しみだ。来年のUnrealショーケースの頃には、新しいAsset Generator機能の話をしていてほしい

    • おすすめの手続き型生成ライブラリはある？