Apple、2D写真を即座に3Dビューへ変換するオープンソースモデルを公開

 (github.com/apple)
6 ポイント 投稿者 GN⁺ 2025-12-28 | 1件のコメント | WhatsAppで共有
  • SHARPは単一画像を入力として3Dガウシアン表現に変換し、写実的な3Dビューを生成するモデル
  • 標準的なGPUで1秒未満の時間に、単一のニューラルネットワーク推論で3Dシーンパラメータを予測
  • 生成された3D表現はリアルタイムレンダリングが可能で、絶対スケールを含むメトリックなカメラ移動をサポート
  • 複数のデータセットでLPIPS 25–34%、DISTS 21–43%の改善とともに、既存モデル比で3桁高速な合成速度を達成
  • オープンソースとして公開されており、開発者はCLIベースの予測・レンダリングを直接実行し、さまざまな3Dレンダラーと連携可能

SHARP 概要

  • SHARP(Sharp Monocular View Synthesis) は、単一の写真からフォトリアリスティックな3Dビューを生成するアプローチ
    • 入力画像に基づいて3D Gaussian表現のパラメータを回帰方式で推定
    • 標準的なGPUで単一のフィードフォワードパスだけで1秒未満の処理速度を達成
  • 生成された3D Gaussian表現はリアルタイムレンダリングが可能で、周辺視点からの高解像度画像を提供
  • この表現は絶対スケールを含むメトリック構造で、実際のカメラ移動をサポート

性能と一般化

  • 実験の結果、SHARPはさまざまなデータセットでゼロショット一般化性能を示した
  • 既存の最高性能モデルと比べてLPIPS 25–34%、**DISTS 21–43%**低減
  • 合成時間は3桁短縮、すなわち従来比で約1000倍高速な処理速度

インストールと実行

  • Python 3.13環境で実行可能で、pip install -r requirements.txtで依存関係をインストール
  • コマンドラインインターフェース(CLI)で次のように予測を実行
    • sharp predict -i 入力パス -o 出力パス
    • 初回実行時にはモデルチェックポイントが自動でダウンロードされ、ローカルキャッシュに保存される
    • 手動でダウンロードする場合は-cオプションで指定可能
  • 出力結果は3D Gaussian Splat(3DGS) 形式の.plyファイルとして保存され、公開3DGSレンダラーと互換性がある

レンダリング機能

  • CUDA GPU環境では、カメラ軌道に沿った動画レンダリングが可能
    • --renderオプションを使って予測とレンダリングを同時に実行可能
    • または中間結果(.ply)を使って別途レンダリングを実行可能
  • OpenCV座標系(x 右、y 下、z 前方)に従っており、外部レンダラーを使う際はスケールおよび回転補正が必要

評価と参考資料

  • 定量的・定性的な評価結果は論文に収録されている
  • プロジェクトページで比較動画の例を確認可能

ライセンスと引用

  • コードとモデルはそれぞれLICENSE、LICENSE_MODELファイルの条件に従って利用可能
  • 研究を引用する際は arXiv 論文 “Sharp Monocular View Synthesis in Less Than a Second (2025)” を参照
  • コードベースは複数のオープンソース貢献物を基に構築されている

関連記事

1件のコメント

 
GN⁺ 2025-12-28
Hacker Newsの反応

  • HNではAppleのSHARPプロジェクトが再び話題になった
    関連する議論は以前のスレッドでも行われていた

    • 「SHARP, an approach to photorealistic view synthesis from a single image」というタイトルで紹介された投稿が再共有された
    • AI関連のGitHubインストールガイドがまともに動かない点が指摘された。多くは開発環境がすでに整っている前提になっており、初心者には参入障壁が高い

  • SHARPの公式資料はプロジェクトページと論文(arXiv)で確認できる

    • あるユーザーは、公式ページよりもBradleyのデモ動画のほうがはるかに印象的だと述べた
    • 別のユーザーは、著者が全員外国出身に見えるとして、STEM人材の構成変化に関心を示した

  • モデルライセンスには「研究目的専用」と明記されており、実際にはオープンソースではない

    • READMEにもオープンソースという記載はなく、単にオープンソースを基盤に構築されたと書かれているだけだ
    • Metaが「オープンソース」の意味を歪めた影響で、今では単に重み公開 = オープンソースと認識される傾向が生まれた、との指摘もあった
    • あるユーザーは「重みは著作権の対象ではないかもしれない」として、結局はAppleが強制できる法的効力が核心だと述べた
    • メインライセンスに制限が明記されていないため、混乱が生じたようだ
    • あるユーザーは「これで収益性のある製品を作れるか調べてみる」と語った

  • あるユーザーは、すでにこのプロジェクトをMPSでレンダリング可能にフォークしたとして、自分のGitHubリポジトリを共有した

    • 別のユーザーは「良さそうだ」と感謝を伝えた

  • 誰かが「VRポルノの大きな日だ」と冗談めかしたコメントを残した

    • これに対し別のユーザーは、実際にはVRコンテンツの品質限界が明確だと説明した。
      モデルは1つの軸でしか推論せず、解像度も768px + 2レイヤーに制限されており、リアルタイム処理も不可能だ
      今年はむしろ画像編集や動画モデルのほうで、より大きな革新があったとも付け加えた
    • また別のユーザーは、「Gaussian splat」という用語がまったく別の意味に聞こえると冗談を言った

  • 「大企業がモデルを公開するたびにオープンソースの定義論争が繰り返される」として、AIモデルにおける『ソース』の概念がソフトウェアとは異なる点が指摘された
    Appleは学術的な信頼性を得つつ、商業的な選択肢も維持しようとしているように見えるという分析だ

    • 別のユーザーは「技術そのものがすごいのに、ライセンス論争が上位を占めるのは残念だ」と述べ、
      この技術によって古い写真をVRで体験できる点こそAppleの本当の強みだと評価した
    • また別のユーザーは、「which isn’t unsurprising」という表現は複雑すぎると冗談を言った
    • 「驚かないことが驚きだ」といった類いのユーモアも続いた

  • 「人は同じ対象を何枚も撮ることが多いので、実質的に立体画像データを提供しているようなものだ」との指摘もあった

    • 別のユーザーは、「Live Photoのフレームも活用できる」と付け加えた

  • あるユーザーはCondaが嫌いなので試すのをためらっていると言った

    • 別のユーザーはpixiを勧め、実際にはCondaなしでもPython 3.13とuvさえあればよいとして、具体的なインストールコマンドを共有した
    • また別のユーザーは「それは不合理な嫌悪ではない」と共感した

  • あるユーザーは休暇中にStereoCrafterやGeometryCrafterのような関連プロジェクトを試していると述べた。
    これを動画に適用すると**時間的一貫性(temporal consistency)**の問題で格段に難しくなり、計算量も増えるが、
    朝鮮戦争時代の古いホームビデオを空間化(spatialize)してみたところ、驚くほどうまく機能したという
    StereoCrafterリンク, GeometryCrafterリンク

    • 別のユーザーは「その例はぜひ見てみたい」と返した