Appleのコンピュテーショナルフォトグラフィで見つかった現実歪曲エラー
(appleinsider.com)- 英国のコメディアン兼俳優 Tessa Coates のウェディングドレス写真で、実際の人物と2つの鏡に映った姿がそれぞれ異なるポーズになり、iPhoneの写真処理の弱点が明らかに
- 原因は超常現象ではなく、iPhoneが鏡の中の反射を同一人物としてまとめられなかった コンピュテーショナルフォトグラフィのエラー にある
- 写真は パノラマモード で撮影され、Coatesが動いている間の異なる瞬間の画像が1枚に合成された
- Appleのアルゴリズムは、彩度、コントラスト、ディテール、ブレのなさなどを基準に各領域の「最良」の画像を選ぶ過程で、鏡ごとに異なる瞬間を選択した
- 鏡と動きが混在する場面では、最新のスマートフォンでも現実とは異なる合成結果を作り出す可能性があり、撮影結果をそのまま信じにくいケースが生じる
鏡の前の写真で生じた3つのポーズ
- 英国のコメディアン兼俳優 Tessa Coates は、ウェディングドレスを試着している最中に鏡の前で写真を撮られた
- 写真にはCoates本人と左右の鏡に映った姿が一緒に写っていたが、3つの姿のポーズはそれぞれ異なっていた
- 片方の鏡では腕を下ろした姿
- もう片方の鏡では腰の前で手を組んだ姿
- 実際の人物は左腕を体の横に置いた姿
- 見た目には非常に奇妙だが、原因はiPhoneの撮影処理過程で発生したエラーだった
iPhoneの撮影パイプラインで起きたこと
- iPhoneはシャッターボタンを押した瞬間に 数十億回の演算 を行い、1枚の写真を作る
- この事例でカメラは鏡を撮影していることを認識できず、Coatesの3つの姿を別々の人物のように処理した
- Coatesが動いている間に写真が撮影され、同じ場面の異なる瞬間が複数枚キャプチャされた
パノラマモードと画像合成
- 更新情報によると、この写真は パノラマモード で撮影された
- パノラマ撮影では、カメラが場面をなぞる間に複数の画像が取り込まれ、その後アルゴリズムがそれらをつなぎ合わせる
- Appleのアルゴリズムは、各部分で彩度、コントラスト、ディテール、ブレのなさなどを基準に、より良い画像を選択する
- 最終的な合成画像は、その瞬間を最も良く、現実的に解釈した結果であるはずだったが、鏡が含まれていたため、それぞれの反射に異なる瞬間が残った
なぜ「3人のTessa」が作られたのか
- アルゴリズムは、実際の人物と2つの鏡に映った姿を同一人物としてまとめられなかった
- 各鏡の領域で別のフレームの方が適していると判断されたため、最終写真には異なるポーズが同時に入った
- その結果、実際の人物と2つの反射がそれぞれ異なる動きをする 合成画像 が作られた
再現可能性と限界
- こうした結果は、最近のiPhoneだけでなく複数のスマートフォンでも再現可能
- 原因は、鏡を扱う コンピュテーショナルフォトグラフィの限界 にある
- 一部の若い世代はこの現象を理解し、ソーシャルメディア向けの面白い画像を作るために利用している
1件のコメント
Hacker Newsのコメント
この短い要約記事が参照している元記事[0]のほうが、より良いソースかもしれないと思う
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
純粋主義者はコンピュテーショナル・フォトグラフィという発想をいつも嫌うだろうけれど、iPhoneが手持ちで夜間・低照度・動きのある写真をうまく撮ってくれるのは本当に気に入っている
物理的に小さなセンサーでは無理だと思っていた夜の写真も撮れた
その瞬間の実際の光景をピクセル単位で100%完璧に反映しているかというと違うが、あまり気にしていない
以前にもHDRの露出合成、浅い被写界深度のためのフォーカス合成、混雑した場所を何枚も撮って人や車のいない写真に貼り合わせる作業をしたことがあり、どれも目で見た光景の完全な再現ではないが、望む被写体を収めるうえでは複数の露出を組み合わせる方式が役割を果たしている
レンズ自体も欠陥や変化を生み、フィルムや現像工程も同じだ
だからといって、何が写り、どう見えるかを決める権限が欲しいと言うだけで純粋主義者になるわけではない
そうした選択こそが写真を芸術にする要素だ
結局この技術は、そのコントロールをユーザーから奪っている
Appleが写真の被写体や見た目を決めてもよいなら問題ないが、多くの人はそうではないと思う
そのうちカメラは、人ごとに最も良いフレームを選ぶだけでなく、最も良い目、左右対称の補正、審美的に最も見栄えのよい肌のトーンなどを選び出すようになりそうだ
ある程度は昔からそうだったが、写真が「本物」であるという建前を捨てた以上、そう流れていくのは必然のように見える
『WALL-E』で船長の肖像画がだんだん太っていく場面を思い出すが、実際には時間が経つほど写真の中の船長はより魅力的で彫刻のような姿であるべきだったはずだ
現実では相変わらず肥満だろうけれど
夜に写真を撮ることはできるが、自分のセンサーである目が見たものと比べると、判別しにくいことが多い
少しだけ良くなった現実ではなく、カメラが目の前の構図とは関係のない方法で光をどう配置するかを決めているように感じる
iPhoneが「良い照明」とは何かについて置いている仮定が崩れる状況では、ポートレート写真をそのまま台無しにするという記事もあった
5年前のスマホの写真のほうが最新スマホより気に入ることがあるが、それはハードウェアが優れているからではなく、チューニングが悪いからだ
モデルにあまり出てこない対象、たとえば這って入るような空間、配管、歯科の接写などを撮ると面白いことが起きる
RAWモードでなければ完全に使いものにならない結果を受け取ったこともあり、コンピュテーショナル写真処理の段階が何をしているのかまったく分かっていないようだった
センサーの限界というより、iPhoneがより多くの裁量を振るうことで、以前より写真をはるかに悪くすることがある
センサーが見た現実をピクセル単位で完璧に描写すべきなのは、警察や保険調査員くらいだろう
芸術としての写真は純粋性に関するものではなかったし、たいていの人は自分たちが見たもの、そして見方を反映する写真を望み、それをレンダリングするための技術的ステップを受け入れるだろう
月が美しく、風景をほのかに照らしているなら、明るい月と暗い背景の両方が写った写真が欲しいし、そこには多くの計算が必要になるかもしれない
だがドッペルゲンガーの花嫁、過剰なHDR写真、鳥や柱が取り除かれた風景は、誰かが見た光景ではない
素晴らしい絵ではあり得るが、個人的には写真とは別の芸術に入っていくように思う
数か月前にPixel 7で似たようなことがあった
この鹿の写真で: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
拡大してみると、細部のレベルではすべてが油絵のように見え、特に鹿の顔と奥の壁がそうだ
実際の壁や鹿はまったくそんな見た目ではなく、フィルターも使っていない
コンピュテーショナル・フォトグラフィは本当に素晴らしいが、少し心配でもある
2016年ごろにiPhone 6sで撮った写真も、拡大すると似たように見える
そうしたモザイクのようなパターンのほうが、ノイズの多い写真より目には心地よい
物理法則上、小さなスマホのレンズとセンサーが光を捉えるには限界がある
ハードウェアはかなり良くなったが、まだ限界に達したわけではないし、それでもスマホが処理なしでRAWのノイズの多い画像をそのまま出してきたら、好まれないだろう
正しいピクセル格子と色空間に移すために必要な処理も除外できない
Pixel 7には専用のズームカメラがないので、ズームしていたならデジタルズームで、品質は大きく落ちる
処理段階は低品質のフレームを使わなければならず、ああいう結果がよく出る
スマホユーザーがこういうことを気にしなければならないのはよくないが、経験上、ズームカメラのないスマホではズームせずに撮るか、2倍を超えずに後から切り抜くほうがよいことが多い
設定でフィルタリングの強度を下げられるかもしれない
こういうことがますます頻繁に起きていて、「実際に画像を細かく見さえしなければ、より良い圧縮」と「AIによる改善」が混ざった、不吉な組み合わせのように思える
数週間前、息子の写真を本当にきれいに撮れた。構図・表情・ピント・光まで完璧だったのに、問題がひとつだけあった
スマホのアルゴリズムが、息子の肌を剥ぎ取って後ろの壁の質感に置き換えたほうがよいと判断してしまったのだ
もちろん Galaxy S22 Ultra みたいな安いスマホを買った自分が悪いのだろうし、S23 Ultra ならもっと良かったのだろうが、その時点ではまだ出ていなかった
そこで今後せめて写真を救えるように RAW を有効にしたが、RAW は使いづらい「プロ」カメラモードでしか動かず、しかも時々こっそり非プロモードに戻ってしまう
結局あきらめてサードパーティ製カメラアプリを入れた
少なくとも Mark は自分の写真を積極的に壊しはしないので、信じるべきなのだろう: https://play.google.com/store/apps/details?id=net.sourceforg...
低照度での標準のノイズ除去と明るさ補正の魔法、それから間抜けな月の置き換え機能以外では、計算写真学を使っているようにも見えない
10倍レンズだけで Apple に勝っていたのだから、月関連の馬鹿げたことをする必要はなかった
標準カメラアプリは問題ないと思う
こうした例は、まだそうでないとしても、今後 法的な防御 の一部として蓄積され、提示されるようになりそうだ
妥当かどうかは別として、こうした極端な事例は、一部の裁判官や陪審員にとって合理的疑いの閾値を超えさせる可能性がある
AIによる改変は実際に起きており、その境界は予測しにくいことがある
さらに悪い場合、爆弾現場にいた人が、爆発前に反応したかのように写ることもあり得る
私たちは因果関係についての内在的な前提を持っているが、このAIはそれを壊してしまう
特定のいくつかの状況では、潜在的にとてつもない問題になり得る
うちの家族は パノ・フランケンシュタイン 写真を撮るのが好きだ
人が大げさに表情を素早く変えている間に顔を横切るようにパノラマを撮ると、スマホが顔を一枚の一貫した画像としてつなぎ合わせようとして、かなり笑える結果になる
最新の Google Pixel は、カメラアプリを開いた瞬間からフレームの保存を始める
実際に写真を撮ると、直前のフレームの一部を使って、遅延なしで実質的に HDR 合成をする仕組みだ
ここでも似たようなことが起きた可能性がある
異なるフレームから、処理過程が写真の各部分に最適な露出を選んだ結果、こういう効果が生じたのだろう
新しい場所を歩き回りながら、いいものをすぐ撮りたいからとカメラを何時間も起動しっぱなしにする人たちがいて、それで昼にはバッテリーが切れると文句を言う
これが本当かどうかはよく分からない
Apple がここまでの改変をしていると公に言ったことはなく、もちろんだからといってしていないという意味ではないが、1回のキャプチャ内でその女性が経なければならない動きの範囲が可能だとは思えない
Live Photos があっても、こういうことは起きないと思う
本当ならかなり奇妙なので信じたい気持ちはあるが、少し出来すぎて見える
すでに誰かが証明または反証しようとしているのではないかと思う
蝶館にいたのだが、接写写真で蝶の脚が消されて羽だけが残っていた
画像リンク: https://ibb.co/nwbw5xY
スマホが脚を背景の一部だと仮定したのだ
髪の毛でも同じことが起きる
脚は細いのでノイズと解釈されやすい
特にデジタルズームと暗い光を使うと、画素数が非常に少なく、各ピクセルのノイズが大きくなるのでなおさらだ
最近のポッドキャスト[0]で聞いたところでは、iPhone のカメラアプリでボタンを長押しすると写真の束をキャプチャし、その後、たとえば全員が目を開けている写真のように「最高」と判断した1枚を表示するらしい
もちろん、ここで起きたことと同じではない
人を写真から外すことが多いので、毎回これを試すのを忘れてしまう
[0] おそらくこのエピソードだったと思う: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
今はボタンを長押しすると動画撮影に切り替わる
動画を撮らない立場としてはうっとうしい
画面上のボタンを使えば左にスライドして連写できるが、私の知る限り、音量ボタンで連写写真をトリガーする方法はない
iPhone 15 シリーズの新しいプログラム可能なボタンなら可能かもしれない
写真を撮るというのは実質的には短い動画で、その中から最適なフレームを選ぶ方式だ