彼らは私たちに映画本来の見た目を忘れさせようとしている
(aftermath.site)- True Lies の4K転送版は、古い映像を AIアップスケーリング したYouTube動画のようににじみ、誇張された質感に見え、Aliens、The Abyss、Titanic でも同様の処理の痕跡が指摘されている
- 作業を担当した Park Road Post は Peter Jackson の WingNut Films の子会社で、They Shall Not Grow Old や The Beatles: Get Back でも機械学習ベースの修復を積極的に用いた前例がある
- True Lies にはオリジナルのカメラネガをもとにした最近の 4Kスキャン があったとされ、なぜAI処理が必要だったのか疑問が残る
- 批判の焦点は技術そのものより 不適切な入力と自動補正 にあり、適切なキャプチャー・デインターレース・アーカイブ作業を置き換えると映像品質が崩れる可能性がある
- 過度なノイズ除去とフィルムグレイン除去は映画をデジタルの鮮明さの基準に合わせ、観客が フィルム本来の質感 を忘れてしまう危険がある
True Lies 4K転送版が引き起こした問題
- 古い映像を AIアップスケーラー に通して色付けしたり60fpsに補間したYouTube動画は、にじんで誇張された色味に見えることが多い
- True Lies の最新転送版は、そうした動画に似た質感だと批判されている
- 動きのある場面では一瞬よく見えることもある
- 肌のしわ、子どもの写真、フォルダーの縁、頬のような細部が不自然に見える
- 表面は過剰になめらかなのに鋭く、境界がずれた AI生成画像 のような印象を与える
- Aliens と The Abyss の転送版は True Lies ほど深刻ではないが、肌が無菌質でワックスのように見え、フィルムグレインが過度に除去されていると評されている
- Titanic の最近の転送版も似た処理を受けており、オンラインでの反応は割れていた
Park Road PostとPeter Jackson流修復の延長線
- 今回の修復作業は、Peter Jackson の WingNut Films 子会社である Park Road Post が担当したとされる
- Park Road Post を語るうえで、They Shall Not Grow Old と The Beatles: Get Back が重要な先例として挙げられる
- They Shall Not Grow Old は第一次世界大戦の映像をアップスケールし、色付けして、より現代的な文脈に見せようとした
- The Beatles: Get Back は Michael Lindsay-Hogg の Let It Be 撮影素材と未公開映像によって、The Beatles の楽曲制作過程を見せる
- 両作品は既存映像を再文脈化し、その過程で 機械学習 を積極的に活用した
修復効果が生んだ異様な質感
- They Shall Not Grow Old では、補間された兵士たちの動きが溶けるようで不安定に見えるという評価がある
- デジタルノイズ除去が一貫しておらず、ある部分ではフィルムグレインが残り、別の部分では消えている
- 兵士の顔のグレインが爬虫類のうろこのように張り付いている印象を与える
- The Beatles: Get Back にも程度は軽いが似た問題がある
- 髪の毛と毛皮のコートが同時に光沢を帯び、脂っぽく見える
- 肌や衣服のしわに不自然な重さがある
- 物体の輪郭が互いに引っ張られたり溶け込んだりして見える
- グレイン構造は They Shall Not Grow Old より自然だが、強くノイズ除去した映像の上に人工的に加えたように見える
- Get Back が大成功した背景には、Let It Be のアクセスしやすい版が質の悪いDVD転送版しかなかったことと、60時間分の未使用映像が大きく作用した
問題は技術より適用方法
- 機械学習ベースの映像技術が無条件に役に立たないという批判ではない
- Nvidia DLSS や競合技術は、学習済みのゲームでは概ねうまく機能すると見ている
- まれな補間作業には Flowframes を使う
- 状態の悪いソースの静止画を補正するときには waifu2x や chainner を使った経験がある
- AIアップスケーリングモデル のデータベースも存在する
- 問題は、こうした技術が適切な インジェスト 作業を置き換えるときに起きる
- 「Crap in, crap out」は今でも有効だ
- VHS や Laserdisc を可能な限り高品質にキャプチャーするには、正しいキャプチャーとデインターレースの知識が必要だ
- 映像作業を理解している人が「Just use Topaz」と言うような態度は、ほぼ常に悪い結果につながると考えている
良いアーカイブ作業とAI処理の衝突
- きちんと転送された映像は息をのむほど印象的になりうる
- 良い アーカイブ実務 には多くの組織的知識と労働が必要で、正しく行われれば一つの芸術に近い
- 現代のAI活用のかなりの部分は、労働を減らす方向に働く
- テープを正しく転送する代わりに、コンピューターに雑な推測をさせる選択が可能になる
- 悪い入力が入っても、その悪さが結果にそのまま露出しない状況が生まれる
True Lies にAI処理は必要だったのか
- True Lies はAI処理を経る必要はなかったと見ている
- The Digital Bits によれば、Park Road Post はオリジナルのカメラネガから作成した最近の 4Kスキャン を持っていた
- Park Road Post のWebサイトには、Lasergraphics Director 10K フィルムスキャナーを保有しているとの記載もある
- こうした条件なら、見たところ健全なフィルムにAIを加える目的は何なのかという疑問が残る
監督承認だけでは十分でない映画保存
- Blu-ray フォーラムの論争は過熱しがちだが、特定の場合には監督が自作映画の見た目について誤っていることもありうると見ている
- George Lucas が代表例として挙げられ、James Cameron も自作の処理に無関係ではないとされる
- Wong Kar-wai も Ashes of Time や In The Mood For Love の最近のリマスター事例で問題のある例として言及されている
- Cameron は当該リマスターを個人的に承認したとされている
- こうしたまれな条件では、監督が自作映画の最善の利益を本当に代弁しているのかを問う必要がある
デジタルの鮮明さがフィルムの基準になる問題
- 最も居心地が悪いのは、多くの人がこうした仕上がりをかなり良いものだと感じてしまうかもしれない点だ
- 一部の観客は、過度になめらかで、速く、高フレームレートで、徹底的に磨き上げられたメディアを好むと批判されている
- スマートフォンのカメラも、もはや単純に画像を撮るのではなく、画像を計算し最適化している
- デジタル映画が水晶のように鮮明で生気がないだけでなく、過去の映像までノイズ除去とグレイン管理によってその基準に合わせられている
- 人々がフィルムが本来どう見えるべきかを思い出せなくなる状況は、便利で収益性の高い 条件になりうる
保存が破壊にならないために
- 映画保存に関わる人々がフィルムを破壊しようとしているとは考えていない
- 関係者は懸命に働き、映画の最善の利益を考えていた可能性がある
- ただし修復の性格は大きく変わりうるし、一部の企業は新技術に目を奪われ、修復的な作業ではなく破壊的な作業を生み出すことがある
- 可能であれば、映画保存を 収益動機 から切り離すこと以外に明確な解決策は見当たらない
- かつて多くのゲームが Aliens のように見せようとしていたが、今では Aliens の方がビデオゲームのように見えるようになっており、これは不快な変化として残る
1件のコメント
Hacker News の意見
映画の専門家ではないが、自分なりの好みはあると思っていたところ、最近の Beatles プロジェクトには何度も涙ぐまされた
誰でも自分の映画ブログでエリート主義者になる権利はあるが、オリジナル版から比較フレームを一つも持ってこず、読者が自分で A/B 比較して判断できないようにしているのは、記事の論旨を大きく弱めている
アップスケール・カラー化されたビンテージ短編への嫌悪には同意しないし、むしろ本当に気に入っている。うちの家族にとっては、今ではこうしたクリップを見るのがほとんどクリスマスの伝統になっていて、個人的には https://www.youtube.com/watch?v=EQs5VxNPhzk が一番好き
「なるほど、本当に Pixar のキャラクターみたいに見える」とすぐ感じたし、自分が映画本来の見え方をかなり忘れていたのだと気づいた。この見方が過剰に騒ぎ立てているとは思わない
原文をそのまま読めるのに、わざわざ GTP で要約してから元の長さに引き伸ばしたバージョンを読む理由はない、というたとえと同じだ。何を得て何を失うのか、なぜ元の言葉ではなく GTP 変換版を引用しなければならないのか疑問だ
「1890年代の IMAX」に近かったということだ: https://www.youtube.com/watch?v=2Ud1aZFE0fU
The Matrix も 4K トランスファーで、あり得ないほどひどいカラーグレーディングによって台無しにされた
この記事は少なくとも三つの手法を混ぜて語っているが、すべての映像に全部が使われたわけではない
They Shall Not Grow Old ではカラー化と時間補正も行っていた。100年前の映像は手でハンドルを回してフィルムを送っていたため、秒あたりのフレーム数が大きく変動し、特に歩く場面は現代の映像と比べて不自然に見えやすい
知的財産権の保有者、大手映画会社、ストリーミングサービスは、可用性と正確性の両面で信用できない
記事に出てくる True Lies と Titanic も当時 Digital Domain が手がけたはずだが、90〜2000年代には、フィルムで撮ったプレートはスキャンすれば理論上は高解像度になり得ても、視覚効果はもともと 2K 解像度に合わせてレンダリング・納品されていた可能性が高い
したがって 4K リリースを「要求」する場合、元の視覚効果会社が 4K で再レンダリング・合成して納品しない限り、ほぼアップスケーリングが必要だったはずだ。Star Wars の再リリースや一部の Pixar 作品のように、そうした事例を聞いたことはあるが、一般的ではない
第二に、復元は1914年と2014年の間の隔たりをつないでいる。古い白黒映画は人工的で遠いものに感じられがちだが、カラー化・補間された版では兵士たちを血の通った人間として感じさせる。「これはあなたにも起こり得る」というメッセージは、オリジナル映像だけではそこまで伝えにくかったはずだ
最近はノイズ除去とアップスケーリングの両方が人工知能で処理され、しばしば同じ段階で行われる
True Lies が 4K トランスファーに耐えられないはずはない。Criterion が示したように、1950〜60年代の 35mm プリントでも HD/4K の優れた基盤になり得る
これは作品の実体を変える主観的な編集であり、現代の視聴者の目により合うようにしようとする試みだ
この記事は、ほとんど映画愛好家だけに向けて書かれているように感じる。著者が何を問題視しているのかを正確に示す比較動画から始めるべきだった
フォルダーの場面を除くと、縮小されたスクリーンショットだけでは何を言っているのかよく分からなかった。Beatles Now and Then の動画 [1] を見てようやく、動きが入るとはるかに不自然になり、悪い照明や蝋のような質感がより目立つことが分かった
[1] https://www.youtube.com/watch?v=Opxhh9Oh3rg
すべてが実際に撮影されたものではなく想像で作られたもののように見え始め、人物は人間のふりをする宇宙人のように見せる人工的な痕跡に覆われている。不気味な顔を見ると、吐き気がするほど本能的な嫌悪感を覚えることもある
例はかなり露骨に見えたので、人々が横並びの比較を求めるのは意外だが、画像から何を受け取るかが人によって違うという点は興味深い
普段使っている VPN の選択肢では “The uploader has not made this video available in your country” を回避できない
Imagine there’s no countries....
これを単なる「好み」ではなく、純粋性と真実性の観点から見ている
AI アップスケーリング、カラー化、補間といった手法は、いずれも本来存在しなかった情報を追加する。その瞬間、もはや本物のメディアを見ているわけではない
オリジナルのフィルムを可能な限り最高の解像度で再スキャンし、フィルムの中にあった情報を最大限取り込むのはよいが、そもそも存在しなかった情報を追加するのは一線を越えている
現代のテレビにあるひどい「モーションスムージング」機能と同じだ。標準でオンになっていて映画をドラマのように見せ、フレーム補間は監督が意図してもいない、もともと存在しない情報を追加する
古代文献が皇帝の衣服の色に言及していなかったからといって、新しい版に私たちが考えた色を「補間」して入れたりはしない。そんなことは普遍的にテキストの毀損と見なされるはずなのに、写真のカラー化をする人たちは、色のない写真に同じことをして世界に貢献していると思っている
歴史的メディアが興味深く価値を持つのは、結局その時代の情報を伝えているからだ。だから過剰に修復された版には興味が持てない。虚偽または根拠の弱い情報であまりにも汚染されている
時間だけでも十分に損傷するのだから、私たちがさらに付け加える必要はない。これは歴史的な装飾や誇張の現代版であり、見やすく魅力的な半分だけの真実へとねじ曲げるだけで、より醜い実際の真実を語らない
こうしたツールは修復ツールというより装飾ツールに近い。良い修復は実際に情報を「復元」する。古い写本に欠落ページや誤りがあれば、別の写本の同じ箇所で補うように、フィルムフレームの傷も別プリントの同じフレームで埋めるべきだ
1990年代に作られた映画が、2020年代に作られたように見える必要はない。Rembrandt の絵が Photoshop で描かれたように見える必要がないのと同じだ
AI アップスケーリングと生成画像が、記事中の事例と共有している核心は、強力なデジタルノイズ除去の工程だ。映像の議論ではよく DNR と呼ばれ、悪名高い Terminator 2 の 4K 版が蝋のように見える理由もここにある
T2 の場合、少なくとも 3D 版をベースにしており、立体化処理の過程でそのようなノイズ除去が必要だったためだ
Ultra HD 4K Blu-ray ディスクには BD-50、BD-66、BD-100 の3つの容量があり、体感では後者2つの方が一般的だ。上映時間が長すぎないリリースは、より安く容量の小さいディスクに収まるようエンコードされることもある
ストリーミングやオンラインのデジタルエンコードは、常にファイルサイズを最適化するという点もある。Blu-Ray.com フォーラムのある比較によれば、iTunes の最大ビットレートは約 31Mbps とかなり高い部類だったが、それでも 1080p Blu-ray レベルだ。Ultra HD Blu-ray は比較すると 90Mbps まで行ける
皮肉なことに、Blade Runner: Final Cut のようにオリジナルのグレインがはっきり残っている映画が出ると、家族がグレインが多すぎると感じたという反応も見た
スマートフォンが長年にわたって写真を自動でノイズ除去してきた影響で、非愛好家の反発が少なくなっている面もあると思う
ストリーミングで使われる AV1 は、UHD ディスクで一般的な H.265 より効率的かもしれないが、その程度の帯域幅の差を埋められるほどではない
業界がまたしても海賊版に後れを取っている、という点は言っておく価値がある
ワープシャープニングやフィルタリングは10年以上前に流行し、大きな高解像度画面はあるのに新しいコンテンツが不足していた時期に過ぎ去った潮流だった。時間がたつにつれ、モデレーターたちはそういうゴミを止めるべきだという結論に至った
答えは単純だ。どんな表示方式であれ、「どう見えるべきか」に関する芸術的判断なのだ。画像を画面に載せるたびに選択が入り、芸術的判断には趣味が必要になる。多くの人にはそれがない
面白いおもちゃをいじった普通の人たちは、過剰にフィルタリングしたリップが本当に格好よく見えると思い、何が失われたのか理解していなかったのだろう。このページで、物体が蒸気ローラーにひかれたあとプラスチックのエッジエンボス加工を受けたように見えてはいけない理由が分からず比較を求めている人たちも、本当に違いが見えていないのかもしれない
ビジネスは、「趣味」「芸術」「品質」が重要ではないことをよく知っている。重要なのは製品への関心であり、売れればそれでいい
秘密は、多くの人が1枚のDVDにカムリップ8本が入ったようなコンテンツを見ても同じように満足するということだ。広告だらけのひどいストリーミングサイトや、「FullHD」と言いながらほとんどダイヤルアップ並みのビットレートのものなどである
それでも彼らに4K・8K・3D・HDRテレビを買わせ、「より新しく、より良い」リリースを追わせ、「より新しく、より良い」ストリーミングサービスに加入させる誘因はある。「新技術」への洗脳は、莫大な富を手に入れたと信じ込ませる。それが実はひどいものだと言えば、特定の品質だけでなく、彼らの人生の選択や信念に触れることになる
昔のVHSボックスセットでもまだ残っていれば、と思うほどだ
アップスケールされた映像を、別の時代の暮らしがどんなものだったかを想像する思考実験として見るのは面白いかもしれないし、元の映画の価値を大きく損なうものではないと思う
そしてThey Shall Not Grow Oldは、最近の人工知能ブーム以前の2018年に作られた。当時としては実験的で野心的な映画であり、今ならはるかにうまく作れる気がする
ただし、人工知能でカラー化し鮮明化したバージョンも見てみたい
元の映像は、彼らをまったく別世界の滑稽で見知らぬ人々のように見せる
新しい人工知能映像は、彼らが感情的には自分と同じ人間だったのだと感じさせ、そのほうが真実にはるかに近い
素材に十分な人気があれば、技術が進歩するたびに4〜6年周期でアップスケーリングと補正をやり直して再リリースする時代に入るかもしれない
皮肉に見れば、知的財産権の保有者たちは大きな技術的飛躍があるたびに、所有者からさらに金を搾り取ろうとするだろう。楽観的に見れば、人気映画やテレビ番組を、時間がたつほど良くなる常緑作品として見始めることもできるかもしれない。ソフトウェアにたとえるなら、私たちはソフトウェアが決して「完成」しないことにおおむね同意しており、たいていの場合それは良いことでもある
本当にひどい見た目で、低解像度版のあとに改めて複数のUHD Blu-ray再スキャン版を買おうとしている立場からすると、ほぼ一律に受け入れがたい
「映像をきちんと転写した成果物をついに目にすると、息をのむほど素晴らしいことがある。優れたアーカイブ実務には、多くの組織的知識と労力が必要だ。うまくやればそれは芸術であり、その仕事をする人々は自分の仕事を深く愛している。だが現代の人工知能活用のかなりの部分は、まさにその労働を方程式から取り除くことにある」
物理メディアをデジタルライブラリにリッピングしているが、フィルム転写版を扱う瞬間にすぐ分かる。圧縮がめちゃくちゃになるからだ
フィルムに本質的に含まれるグレインとノイズは圧縮しにくい。だからこうした人工知能アップスケール映画は、私たちのためではなく、ストリーミング事業者が帯域を少し節約するために作られているように思える
また昔はフィルムが高価だったため、監督たちは引き締まった90分映画を撮って終わりにしていた。今では2時間、3時間、4時間の映画が果てしなく間延びしている
今の、観客が出ていって別のものを見る前に素早く始めるやり方とは逆だ。もちろんフィルムを無駄にはしなかっただろうが、昔の映画も間延びしていた。ただしそれを間延びではなく、映画の雰囲気や情緒を作る過程と見ることもできる
監督たちは芸術家であり、映画は観客ではなく芸術のために存在し、機嫌を取るようなことは多くなかった、という点を忘れてはならない
すでになめらかで塊状になった2時間の4K映画なら、10GB程度にエンコードしても大容量Blu-rayと大きく違って見えない。良い4Kフィルム転写版は、目標ファイルサイズが30GBを下回ると、あるいはそれ以前から、おかしく見え始める
ただし良いソースからストリーミング用にエンコードする場合でも十分うまくできるので、最初から悪いソースで始める必要はない。エンコード前に悪くする工程を一つ追加すればいい。だがそうすると、「高品質」な4Kストリームが実際には見るに堪えないことを、はるかに良い元ソースと比較されるリスクが生じる
撮影したフィルムの量は完成版より何桁も多く、良いテイクを得るために同じ場面を繰り返し撮影する。上映時間が長い映画が短い映画より必ず長い撮影時間を必要とするわけでもない
ブログ記事の意見そのものには強い感情はないが、著者の文章は称賛したい。
個人的には考えたこともなく、あまり関心もないテーマなのに、こういう文章を最後まで読んだのはかなり久しぶりだった。タイトルに引きつけられ、その後も読み続けさせられた。
著者はこれをひどいものだと考えていて、読者は記事を読み終えると、そのことをはっきり理解する。