- Google の研究者たちが開発した、シーンの動的性に対する画像空間優先モデリングの新しいアプローチに関する記事
- 自然な振動運動を含む実際の動画シーケンスから抽出した運動軌跡を用いてモデルを学習
- モデルは、周波数調整された拡散サンプリング過程を用いてフーリエ領域でピクセルごとの長期運動表現を予測し、これをニューラル確率的運動テクスチャと呼ぶ
- この表現は、動画全体にわたる高密度な運動軌跡へ変換可能
- モデルは、静止画像を滑らかにループする動的動画へ変換したり、ユーザーが実写写真内のオブジェクトと現実的に相互作用できるようにしたりするなど、さまざまなアプリケーションに利用可能
- モデルは、相互作用するユーザーの刺激に対するオブジェクト動的性の反応をシミュレート可能
- 運動テクスチャの振幅を調整することで、動きの動作を縮小または拡大可能
- 予測された運動テクスチャを補間することで、スローモーション動画を生成可能
- 研究者たちは、Rick Szeliski、Andrew Liu、Qianqian Wang、Boyang Deng、Xuan Luo、Lucy Chai による校正、コメント、議論への貢献に謝意を示している
- デモに使われた Web サイトは nerfies から借用したものであり、Keunhong に感謝の意を伝えている
まだコメントはありません。