Show HN: イチゴのガウシアン・スプラット

 (superspl.at)
2 ポイント 投稿者 GN⁺ 18 시간 전 | 1件のコメント | WhatsAppで共有
  • Strawberryは、danylyon が SuperSplat に投稿した、ダウンロード可能なイチゴの 3D シーンで、ライセンスは CC BY 4.0 と表示されている
  • シーンデータは 46,530件、ファイルサイズは 22.94 MB と表示され、投稿時点は 13時間前となっている
  • 撮影は 90視点で行われ、各視点ごとに 88枚のフォーカススタック画像が使われている
  • 機材は Nikon Z8 フルフレーム、f/7.1、1/160秒、ISO 100、Laowa 180mm マクロレンズ、LEDライト、ブルースクリーン背景
  • 学習は slang-splat で行われ、COLMAP と COLMAP データセットもあわせて提供されている

シーン概要

  • Strawberryは SuperSplat に掲載された 3D のイチゴシーンで、投稿者は danylyon
  • シーンデータは 46,530件、ファイルサイズは 22.94 MB と表示されている
  • 投稿時点は 13時間前 と表示されており、ダウンロード可能
  • ライセンスは CC BY 4.0 と表示されている

撮影条件

  • イチゴのシーンは 90視点から撮影され、各視点で 88枚のフォーカススタック画像が使われている
  • 撮影機材と設定は Nikon Z8、フルフレーム、f/7.1、1/160秒、ISO 100、Laowa 180mm マクロレンズ
  • 照明は LEDライト、背景はブルースクリーンで構成されている

学習とデータ

  • 学習は slang-splat で行われている
  • 使用ソフトウェアとして COLMAP が表示されている
  • COLMAP データセットも提供されており、Patreon で無料で利用できる

利用条件

  • シーンは CC BY ライセンスでダウンロードできる
  • クレジット表記は必須要件ではなく、感謝の意味で推奨されていると明記されている
  • クレジット表記がなくてもこの作品を利用できると案内されている

関連記事

1件のコメント

 
GN⁺ 18 시간 전
Hacker News のコメント

  • 2011年にビデオゲームを動かすために PlayCanvas を作ったのに、2026年にはイチゴを動かしている

    • 興味のある人向けに、SuperSplat と PlayCanvas は GitHub でオープンソースとして公開されている: https://github.com/playcanvas
    • オープンソースの最も愛すべき点の1つは、人々がまったく新しい用途を見つけ出すことだ

  • うわ、時間が溶ける。結局ここまで来たけど美しい: https://superspl.at/scene/ff1d0393

    • このシーンは自分の環境だと レンダリングの不具合 が妙に出る。木や地平線が風車の建物の手前に出てきて、軌道モードでないと外側が正しくレンダリングされない
      それでも、階段を歩いて上がれると気づいたときはかなり衝撃的だった。走るには Shift が必要
      シーン境界には クリッピング がぜひ欲しい。Scaniverse のようなアプリを使うと境界ボックスを追加して、遠くにある、たいてい再構成がうまくいっていない点を取り除ける
      LiDAR スキャナ付きの最近の iPhone を持っているなら強くおすすめする。家や庭をドールハウスのようにレンダリングできるし、壁や構造物の計画や測定にも意外と役立つ
    • 自分の iPhone 12 mini で完全になめらかに動くのが驚きだ
      歩き回れて、しかも解像感もかなり良い、本当に見事なシーンだ

  • [1] を読んだけど、まだ何を見ているのか正確にはよく分からない。推測するに、高解像度の写真を大量に使って再構成した 3Dモデル なのかな
    [1] https://en.wikipedia.org/wiki/Gaussian_splatting

    • イチゴのように見えるよう、多数の 半透明の塊 を合成したものだ
      メッシュやモデルはない。イチゴの見た目の表面は、実際の物理位置では表面らしく見える場所ではなく、互いに離れた塊で構成されていることもある
      だからこういうものは 放射輝度場 (radiance field) と呼ばれる。幾何ではなく光をモデル化しているからだ
      実際には、塊の位置と回転を制約してイチゴの幾何形状によりよく一致させることもできる
    • ガウシアンスプラッティング がどう動くのかは、この動画が説明してくれる: https://www.youtube.com/watch?v=X8yRlA7jqEQ
    • 動作原理は他の返信がうまく説明している。画像にかなり近づいていくと、表面を「突き抜けて」入り始めるので、仕組みをつかむ助けになる
      重要なのは、定義された幾何学的表面、つまり メッシュ がないという点だ。さらに良いスプラットを作るには、さまざまな角度から膨大な枚数の写真を撮る必要があって非常に難しく、ひどいスプラットなら本当に簡単にできる。でもきちんと作れれば驚異的だ
    • https://youtube.com/watch?v=X8yRlA7jqEQ で初めて知ったけど、本当にすごい
    • 2分の良い解説動画もある: https://youtu.be/HVv_IQKlafQ

  • 美しい
    ガウシアンスプラット で好きなのは、劣化のしかただ。唐突に切れたり、詳細レベルが変わって球がキューブになるのではなく、だんだん「夢のような」見た目になる。基本的な形は残って、ディテールだけが減っていく感じだ
    例えばこのシーン: https://superspl.at/scene/e721ea7c
    木に近づくと周囲がぼやけて、現実の織物がほどけていくようだ

    • それなら、自分がガウシアンスプラットから派生させて作ったアート作品も気に入るかもしれない。自分はこれを gaussographs と呼んでいる
      https://bayardrandel.com/gaussographs
      もっと最近の作品は Instagram にある
      https://www.instagram.com/bayardrandel/
    • あまり詳しくはないけど、すごい効果だ。少なくともこのイチゴでは、ズームしているというより近づいて移動している感じに近い
      拡大したときに期待するような追加の「偽のディテール」は見えず、皮を突き抜けて 想像された内部 に入っていく感覚だ
    • Minority Report の「記憶」シーンをすごく思い出す: https://www.youtube.com/watch?v=arTIRgdEb1g
    • 本当にとてつもなくクールな効果だ。現実が霧や、曇ったガラスや、にじんだ絵の具や、オーロラの断片や、タンポポの綿毛のようなものへ崩れていく感じがある
      一貫性が下がるほど、探索もしづらくなり予測もしにくくなる
      普通の 3D モデルよりも、心が 空間情報 を保存して処理するやり方にはるかに近く見える
    • 写真と 3D モデルの中間のどこかにある感じが好きだ。これにそっくりなものは特にない

  • ぼやけた画像しか見えず、何も読み込まれたり動いたりしないなら、JavaScript コンソールに "WebGL not supported" と出ていないか確認するといい

  • これも興味深い: https://github.com/apple/ml-sharp
    単一画像から ガウシアンスプラット を生成する Apple のモデルだ。M1 Pro で約30秒かかる
    動きすぎると破綻するが、軽く左右に揺らす程度や、VR でのもう一方の目の視点くらいなら見事だ。自分が https://github.com/combatwombat/tiefling で使っている古い方式、つまり深度マップ + 頂点シェーダーよりずっと見栄えがいい
    ただし ml-sharp は重みが 2.6GB あるので、ブラウザで動かすには少し大きい

    • これは最新 OS バージョンの Photos アプリ で Apple がやっていることの基盤なのだろうか?
      今では iDevice や Mac で30秒よりかなり速く動いているように見える
    • Nvidia で動かすには、どれくらいの VRAM が必要か知っている人はいる?

  • 数週間前にガウシアンスプラッティングを知ったんだけど、もしかすると笑えるか、初心者っぽいか、間抜けな質問かもしれない。動的ライティング に進展はあるのか、あるいは理論的にでも可能性はあるのか?

    • これを直接やろうとする研究はいくつかある。例: https://arxiv.org/abs/2601.23065
      ただ、拡散反射より複雑なケースでは正確な マテリアル を得るのが難しい
      AI ベースの再ライティングはまもなくうまく動き始めそうだ
    • 基本的には表面に光を当てることはできるだろうけど、影をきちんと扱うのは難しそうだ。構造物がソリッドではなく、3D 空間中の粒子に近いからだ
      かなり現代的なアセットに、古いゲームエンジンのリアルタイムライティングを載せた感じになるかもしれない。Quake 2〜3 時代のように
      あるいはスプラットから疎なボクセルボリュームを作って、各ボクセルに光を吸収する ボクセル不透明度値 を持たせる「オクルージョンの事前パス」みたいなこともできるかもしれない。今どきの事前計算グローバルイルミネーションと大差ない
      参考までに、自分はレンダリングの専門家ではなく、昔 OpenGL でいろいろ遊んでいた変人にすぎない

  • とにかく、わあ!
    サイトを見て回っていて、このシーンにはもっと感動した: https://superspl.at/scene/c67edb74

    • これは 100% に達するとブラウザが毎回クラッシュする。Safari/iOS、iPhone 13 環境
      コメントでリンクされていた他のいくつかは閲覧して使えたのに、不思議だ
    • ざっとサイズ比較だけしてみたかった
      Chrome を正しく読めているなら、ウェブサイトとデータを合わせて 171MB ある
      計算が合っていれば、Netflix の最高ビットレート換算で約40秒分の帯域だ
    • 美しいし、天井の中へ「歩いて」上がって見下ろせるのがかなり面白い
      どれだけ変な人かによって、Quasimodo になった気分にも神になった気分にもなる
    • 奥の司教が少し平板に見えるのは残念だけど ;-)

  • これを見ていたら深みにハマって、ガウシアンスプラット動画 を作っているこの会社にまでたどり着いた: https://www.4dv.ai/. 面白い

  • 美しい小さなミニチュアのようだ。大きなシーンではなく、細かな小物体に ガウシアンスプラッティング を適用したものを見るのがいい
    このイチゴでたぶんいちばん退屈な側面だけど、ライセンスが気になる。「CC BY ライセンスでダウンロードできるが、著作権表示は必須ではなく、してくれるとうれしい」と書いてある。でも法律家ではないが、CC-BY でライセンスしつつ説明文で BY 要件を免除することはできないように思える
    著作権表示を任意にしたいなら、CC0 のようなもっと寛容なライセンスを使って表示をお願いするべきなのでは?

    • できると思う。「好きにしていい」も非公式ライセンスであるのと同じようなものだ。ただ、少し無意味なだけだ
    • 自分のコンテンツなのだから、好きなようにできる
      ある程度はそう。フランスのような国では 著作者人格権としての表示権 が根本的に譲渡不能なので、作者が恒久的に表示の権利を放棄したあとでも、いつでも表示を求められる
      でもアメリカでは、契約条項の利益を受ける当事者は通常、その条項を無視したり放棄したりできる。それをなお「CC BY」と呼べるかは議論の余地がある。表示が中核だからだ
      それでも、CC BY でライセンスしたうえで直後にその要件を免除すること自体は妥当に思える