A$AP Rocky、Gaussian Splattingを活用した「Helicopter」ミュージックビデオを公開

• A$AP Rockyの新曲 「Helicopter」ミュージックビデオは、ほぼすべての人物の演技を ボリューメトリックキャプチャとGaussian Splatting で実現した作品
• 撮影では Evercoastの56台RGB-Dカメラアレイ を使用して実際のパフォーマンスを3Dで記録し、ポストプロダクションでは Houdini・OctaneRender でレンダリング
• CG Nomads GSOPs と WildCaptureの社内ツール群 により、スプラットデータのシーケンシング、ライティングの再調整、物理的インタラクションを処理
• 映像のシュールな質感にもかかわらず、すべてのシーンは 実際の俳優による物理的な演技 を基に制作
• このプロジェクトは 大衆音楽映像における動的Gaussian Splattingの実運用事例 であり、今後のリアルタイム3D映像制作の可能性を示している

---

「Helicopter」ミュージックビデオの制作概要

• A$AP Rockyの「Helicopter」は Radiance Fields技術 を活用したミュージックビデオで、ほぼすべての人物演技 がボリューメトリック方式でキャプチャされている
  • 映像は、混乱した動きと初期MTVスタイルのエネルギーを特徴としている
  • 人物は Dynamic Splat の形でレンダリングされ、立体的な空間感を実現
• プロジェクトには Evercoast、Grin Machine、WildCapture、Fitsū.ai などが参加
  • Evercoastがパフォーマンスキャプチャを担当し、Grin MachineのChris RutledgeがCGスーパーバイザーとして参加
  • WildCaptureのWilfred Driscollが 時間的整合性 と モーション遷移 のための技術支援を担当

ボリューメトリック撮影と技術構成

• 撮影は2025年8月に ロサンゼルス で行われ、Evercoastの 56台のRGB-Dカメラ と 2台のDellワークステーション で同期
  • 俳優たちはワイヤーに吊られたり天井バーにぶら下がったりして、物理的スタント を実施
  • ヘリコプターの羽根や小道具は実際の木製構造物で代用され、現実的なセットで撮影
• 合計 10TBの生データ が収集され、約 30分分のスプラット映像 としてレンダリング
  • 最終成果物は 約1TBのPLYシーケンス 規模で出力

ポストプロダクションパイプライン

• ポストプロダクションは Houdini で進められ、CG Nomads GSOPs でスプラットデータの操作とシーケンシングを実施
  • OTOYのOctaneRender を使って最終レンダリングと ライティングの再調整（relighting） が可能
  • OctaneのHoudini統合が成熟したことで、影や立体感の表現 が可能になった
• Blender はレイアウトとプリビジュアル段階で活用
  • スプラットシーケンスを軽量なプロキシキャッシュに変換してシーン設計に使用
  • WildCaptureの社内ツールで ポーズ推定スケルトン を生成し、衝突・物理シミュレーション を支援

リアルタイムプレビューと制作効率

• Evercoastシステムは 撮影現場でリアルタイムの空間フィードバック を提供
  • 監督は撮影直後に メッシュベースのプレビュー を確認でき、その後 Webプレイヤー で完全なスプラットレンダリングを検討可能
  • 大容量データをダウンロードする前に、必要なシーンだけを選択的に後処理
• このワークフローは 従来の映像制作よりもシミュレーションに近い方式 であり、高速かつコスト効率の高い制作を可能にする

実際のパフォーマンスと視覚的錯覚

• 一部の視聴者は映像を AI生成物 と誤解したが、すべてのシーンは 実際の俳優による物理的な演技 を基にしている
  • スタント、ジャンプ、落下などすべての動作が実空間で行われた
  • ボリューメトリックキャプチャのおかげで カメラ構図の再配置 と 空間連続性の破壊 が自在になり、人工的な印象を生んでいる
• Radiance Field技術は現実を置き換えるのではなく、現実の動きと空間を保存 する役割を果たす

A$AP RockyとRadiance Fieldsの以前の協業

• A$AP Rockyは2023年の「Shittin’ Me」ミュージックビデオでも NeRFとInstant-NGP GUI を活用している
  • 今回の「Helicopter」はその延長線上で、動的Gaussian Splattingの大規模な実運用事例 と評価されている

[GN⁺]

Hacker Newsのコメント

• 2023年にNial Ashley (Llainwire) が一人でこれを手がけ、ビジュアルまで自作したのは本当にすごいと思う
  YouTube動画リンク
  残念ながら彼はあまり注目されなかった。Discordによれば、このスタイルのミュージックビデオ制作依頼ばかりが多すぎて、結局音楽コラボではなくこのプロジェクト自体をやめたらしい
• 私はCG Nomadsの共同創業者 David Rhodes です。SideFX Houdini向けのGSOPs (Gaussian Splatting Operators) を開発しました
  今回のミュージックビデオは GSOPs と OTOY OctaneRender を組み合わせて制作されました
  技術に興味があれば、公式サイトやGitHubリポジトリを見てみてください
  • この技術の美学的な側面は本当に興味深い。以前のバージョンでは完全にグリッチした3Dノイズ雲のように見えたが、意図的に不正な入力やアラインメントのずれを使って創造的に「誤用」する方法について何か考えはあるだろうか
  • David、Mesh Splatting のような3DGS代替技術も見たことがあるか気になる。より高速な学習と良い結果をうたっているようだが
  • Davinci Resolve 用プラグインとして、2台の iPhone で撮影した空間データを結合して 3D シーンにマージすることは可能だろうか。M4 チップなら十分可能そうに思える
  • 「高品質な3Dコンテンツ」と言っていたが、動画ではそこがやや足りないように感じた
• HN でA$AP関連の投稿を見ることになるとは思わなかった。このコミュニティは本当に面白い
  • 私も一日中 Helicopter のミュージックビデオを HN に投稿する方法を考えていたが、結局Gaussianという切り口で誰かが投稿してくれてうれしい
  • 動画で彼は**ヘアカラー（ヘアロール）**をしているのか？
  • もう少しでCarti関連の投稿が HN の上位に来るところだった
  • 私も一瞬二度見した、本当に意外だった
  • でも、なぜそれが「クール」だと見なされるのかはよく分からない
• Gaussian splatting が正確に何なのか、そして記事でいう「もう十分成熟した」とはどういう意味なのか、分かりやすく説明できる人はいないだろうか
  • シーンからポイントクラウドを作り、各点を広がった楕円体に置き換え、それを微分可能レンダラーで学習させるプロセスです。こうすることで実写写真とほぼ一致する 3D シーンを再構成できます
  • 複数の角度から撮影した映像を組み合わせて、3D空間の放射フィールド (radiance field) を推定する方式です。これにより、実際には存在しないカメラアングルもシミュレートできます。
    Houdini のようなツールでこの技術を使えば、アーティストは仮想カメラを自由に動かせます
  • 各点は半透明のブロブ (blob) の形をしていて、見る方向によって色が変わる。反射や光沢効果を表現できる
  • この2分動画が良い入門資料です。
    2023年の中核論文と GPU および微分プログラミングの進歩のおかげで、今では実務でも使えるようになったようだ
  • ビジュアルデモはこのブログ記事とこのサイトで見られる
• 動画は本当にすごかった。記事の内容は半分以上理解できなかったが、こういう専門用語だらけの文を読むのがむしろ楽しい
  「データを Houdini に持ち込み、GSOPs で操作し、OctaneRender で最終レンダリングした」という部分が特に印象的だった
  • 私は Houdini 向け GSOPs の作者の一人です。Gaussian splat は無数の 3D 楕円体で現実を複製する手法です。Houdini はこうした大規模ポイントデータの扱いに強く、Octane のようなレンダラーはそれを従来の CG 要素と統合できます
  • その記事を書いた本人です。Gaussian splatting は通常の 2D 画像や映像を入力として、写実的な3D復元を可能にします。NeRF や Plenoxel のような放射フィールド系手法の一種です
  • Corridor Crew が Gaussian splat を使った素晴らしい作品を作っていた。この動画 をおすすめする
  • この文体、なぜかKurtwood Smith が『The Patriot』でパイプを売る場面を思い出させる
• 私は Gaussian splatting を写真芸術のメディアとして実験中です。データが不足しているときに出る表現主義的な結果が本当に魅力的です
  私の作品集
  • 作品がとても素晴らしい！ 制作過程をもっと詳しく扱っている場所があれば知りたい
  • 美学が本当に独特で素晴らしい
• 正直、動画は昔の Unreal Engine レンダリングのように見えた。そういう美学をあえて狙ったのかもしれないが、Gaussian splatting でどこまで写実的な結果を出せるのか気になる
  ライティングや影を再設定したり、シーンの一部を修正しても、元のリアリティを保てるのだろうか？
  最近の映画制作が多視点撮影後のポスト編集中心になっていくのを見ると、いずれ人間は Gaussian splat、背景はグリーンスクリーンで処理する時代が来るのかもしれない
  • この動画の美学はGaussian splatting のアーティファクトをあえて残した結果だ。特に 4DGS では時間的不一致が生じるが、リライティングの過程でそれがさらに目立つ。
    それでも技術は急速に進歩しており、ボリュメトリックキャプチャは確実に定着すると思う。
    静的環境ではこの例のように品質は非常に高い
  • アーティストの志向を見るに、これは予算というより技術の新しさと創造的自由のための選択に思える
  • 私にはTeardownというボクセルベースのゲームの高解像度版のように感じられた。ライティングとカメラワークがその印象を与えている
  • 正しいデータを入れれば、今でもIMAX級の3D品質を出せると思う
  • A$AP の他の映像でも、ときどきローファイ・レトロな感覚を意図的に使っている。たとえば Yamborghini High では MPEG の破損効果を模していた
• この動画自体はぜひ見るべき。超現実的な効果と人間のパフォーマンスのバランスが本当に良い
  音楽が好みに合わなければミュートして見てもいい
  • A$AP Rocky の別の曲 Taylor Swif のミュージックビデオも、同じく超現実的で奇妙な雰囲気を持っている。東欧風の演出が意図的にテーマとかみ合っている
    動画リンク
  • 動画の最後まで見ると、最後のスプラットはGaussian ではない
• ミュージックビデオ直リンク: https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • いい考えだ。そのリンクも本文上部に追加しておく
• 残念ながら30秒ほど見たところで酔いを感じて止めてしまった。それでも技術は本当にすごい。私と同じように感じた人はいるだろうか
  • 私は動画が本当に良かった。酔いはまったくなかった
  • 妻も同じ反応だったが、イントロの後はかなりましになる