マクロ・スプラット 2025

• Gaussian splat は複数のぼやけた楕円体で構成され、3D写真のようにさまざまな角度から見られる特性を持つ
• 昆虫などの マクロ被写体 の複雑で微細な質感を効果的に再現できる
• 浅い被写界深度 による問題を解決するため、focus stacking 手法を導入している
• 自動化機材 と最適化された撮影方式によって、撮影効率と品質を高めている
• 最終的に COLMAP と Postshot を活用して 高解像度3Dモデル を実装・公開している

---

Macro Splats 2025 要約

Gaussian Splat の概念と3D写真化

• Gaussian splat は、ぼやけた楕円体を3D空間上に重ね合わせ、各楕円に ビュー依存色 を与える手法である
• AIモデルの学習のように、複数の写真を入力して最適化を繰り返すことで、現実的な 3D写真 の成果物を生成できる
• この方式により、さまざまな角度から臨場感をもって観察できる3D画像を得られる

マクロ被写体に適用する動機

• 虫のように毛が多かったり構造が複雑だったりする マクロ被写体 は、Gaussian splat 表現に非常に適している
• このような質感は、従来の3D再構成手法では描写が難しい部分であることを強調している

Focus Stacking を活用した撮影プロセス

• マクロ撮影の特性上、被写界深度が非常に浅く、全体を鮮明に収めるのが難しい点が課題である
• Focus stacking は、同じ角度で焦点が少しずつ異なる画像を多数撮影した後、1枚の 完全に鮮明な写真 に合成する手法である
• 通常は1スタックあたり50〜500枚の写真が必要だが、撮影効率のため各スタック16枚に調整し、絞り値 f/18 を使用している
• 回転ディスク、boom arm、自動フォーカスレールなどにより、昆虫を複数の角度から体系的に撮影している
• 合計111の角度で1776枚を撮影し、全体の撮影所要時間は約4時間である

3Dモデル構築と後処理

• すべての画像は バッチ focus stacking により、111枚の高解像度写真として完成する
• カメラ位置情報は COLMAP で復元し、色補正 と背景マスキング作業を実施している
• 最終データは Postshot で学習させて splat モデルを作成し、支持部（マウント）部分は最小限の retouch で除去している

3Dモデルの公開と活用

• 完成した昆虫モデルは superspl.at で3Dとして自由に閲覧できる
• cluster fly モデル は こちら で無料公開されており、著作者表示を条件に商用・非商用の両目的で利用できる

[GN⁺]

Hacker Newsのコメント

• これまで見たコンピュータグラフィックスの中でも、このマンダリンワスプは最も印象的な作品の一つだと思うし、マクロ写真としても最高レベルだと思う。しかもリアルタイムレンダリング可能という点にも驚かされる。数日前にPS6についての議論があったが、もし自分が今もコンソールやゲーム制作に関わっていたなら、こうしたアセットをゲームに取り込む方法にものすごく頭を使っていただろう
  • Gaussian splatsは、一般的なビデオゲームで求められる柔軟性に欠けている。真のPBRではないため、ライティングはほぼハードコードされた状態になっている。リギングもうまく機能せず、編集も非常に難しい。単一オブジェクトの可視化には向いているが、複数要素からなるシーンの構築には適していない
• 本当に素晴らしく見える。サイトについてフィードバックすると、グレーの背景に黒い文字は可読性が低く、readerモードを使う必要があった
  • ページの色の彩度が強すぎて、何か強調された前景を見落としているのかと思ったし、ページ全体が背景として扱われているようにも感じた
  • むしろ自分は正反対の体験をした。このサイトは、眼鏡をかけていても文字がにじまず、はっきり読める数少ないサイトの一つだ
• この作品は本当に素晴らしいし、マクロ写真とGaussian splattingを組み合わせるという発想はしたことがなかった。これをフリーカルチャーのファイル（CC BY）として公開してくれたことに本当に感謝している
• Exquisite Creatures Revealedのアーティストとのコラボがあったら素晴らしそうだ。彼はさまざまな昆虫を保存し、自然が持つ色彩や虹色の効果を強調する形で展示している。展示にとても感動して、もう一度訪れたほどだ。アーティスト情報はこちらで見られる
• 焦点距離依存のgaussian splatsをフィットさせる研究があるのか気になる。要するにbokehをモデル化するような形で、元のraw画像を入力すれば、全体としてシャープなモデルが得られるのではないかと思った
  • 複数のチームがこのテーマで研究している: dof-gsプロジェクト、dof-gaussianプロジェクト
• ハエの体の虹色の反射をどうやって捉えているのか気になる。反射部分を通して背景をのぞき込んでいるようにも見える。反射は角度ごとに色が違うので、gaussian splatの生成ではすべての光線を満たす解を見つけるのが難しいのではないかと思った。少なくとも反射面はもっと汚く出るはずだと思っていたが、何か秘密のトリックがあるのか、それとも自分がgaussian splatについて誤解しているのか気になる
  • 色は視点によって変わる。つまり、ライティングが焼き込まれているということだ。だから3Dアニメーションやリアルタイム環境に直接使うのは難しいと思う（もちろん、動的ライティングの研究は進んでいるかもしれない）。時々おかしく見えることがあって、例えばハエのモデルでは近づきすぎると体の一部が透明に見え、specular highlightが内部表面の裏側のsplatとして見える現象が起きる。鏡のモデルではこれがさらに顕著で、実際に鏡を通り抜けて中に入れてしまう
  • Gaussian splatsには視点依存の色を持たせることができる。自分の知る限り、球面調和関数（spherical harmonics）で実装されている。角度分解能はその調和成分の数によって決まり、少なすぎるとあらゆる反射がゆっくり滑らかに変化するようになり、反射がぼやける
  • FTAによれば、「Gaussian splatとは本質的に複数のぼやけた楕円体であり、それぞれの楕円体は視点に応じた色を持つ」。この説明が役に立てばうれしい
  • 「View-dependant colors with SH」セクションを参照するとよい: 関連する記事
• ブラウザ上でスマホでもリアルタイムに動かせる回転可能なデモが本当にうまく動作している。gaussian splatのレンダリングコストはそれほど高くなく、計算負荷が大きいのは事前計算の部分だけのようだ
  • ファイルサイズも驚くほど小さい。今はリンクがないが、動きまで含めた4D splat（動画のように見られ、シーン内を移動することもできるもの）が公開されていて、そのファイルも数MB程度だった
• とても素晴らしい作品だ。ただ、モバイルでは3Dがまったく使い物にならない。オービットモードで3Dに触れた瞬間、南半球視点に固定されてしまい、どう回しても画面が狂ったように激しく動く
  • PlayCanvasの開発者です。もしどのスマホ／デバイスでその現象が起きたのか教えてもらえればありがたいです。バグかもしれません（しゃれではありません）
• 最近では「The Matrix」を再訪するのにも使われていた: YouTube動画
• これはStars/NoooN [1]で見せられた23,806ポリゴンのリアルタイムレンダリングからすると、とてつもない進歩だ。[1] YouTube動画
  • これがいつ作られたものなのか気になる。YouTube動画は14年前のものだが、もっとずっと古く感じる