1 ポイント 投稿者 GN⁺ 2023-10-12 | 1件のコメント | WhatsAppで共有
  • iPhone 15 ProとPro MaxのApple Log録画により、スマートフォン映像をLUTとカラーグレーディング中心のプロ向けワークフローに組み込める
  • Log映像は、コントラストと彩度がすでに焼き込まれた通常のiPhone映像とは異なり、フラットな状態のため、LUT適用前の補正で望むルックを作りやすい
  • 10ビット映像の1,024段階のグレー値を12ストップのダイナミックレンジに分配するように、Logは露出・ホワイトバランス・色補正でハイライトとシャドウのディテールを扱いやすい
  • Apple LogはProResでのみ利用できるためファイルは大きいが、iPhone 15のUSB-C外付けドライブ録画が4K 60fps ProRes Log撮影のワークフロー負担を軽減する
  • Apple Logはrawでもセンサーの生データでもないが、文書化されたフォーマットであるため、DaVinci Resolve、ACES変換、VFX合成のようなカラーマネジメントワークフローに接続できる

iPhoneでLogが重要な理由

  • iPhone 15 ProとPro MaxLog映像録画に対応している
  • Logはlogarithmic encodingの略で、映像制作者にとっては2つの実用的な意味がある
    • 映像がフラットに記録される
    • 色空間変換で扱える既知のフォーマットとして機能する

フラット映像とLUTワークフロー

  • 通常のiPhone映像は、強いコントラスト、鮮やかな彩度、ハイライトとシャドウのディテールを含む、見栄えのよい画像をすぐ作る方向に近い
  • Log映像はダイナミックレンジとディテールを保持するが、初期状態ではコントラストと彩度の弱いフラットな画像に見える
  • Log映像を自然に見せるには、LUTなどの方法でカラーマネジメントを行う必要がある
    • LUTは色補正を1つのファイルとして保存したもの
    • 一部のLUTは創造的なルックを加え、一部はLogからビデオへ色空間変換を行う
  • Logの利点はLUTを適用する前の段階で大きくなる
    • ユーザーが望むLUTを選択できる
    • LUTの下でカラーグレーディングを行うと、色補正がより自然に機能する
    • Canon、Sony、Arriのようなデジタルシネマカメラの映像と同じタイムラインに、カラーマネジメントされた形で入れられる

Log補正が自然に機能する仕組み

  • Logの核心は、各ストップの光に同じ量のデータを割り当てる方式にある
  • 例えば10ビット映像は1,024段階のグレー値を持ち、12ストップの光の値を表現する場合、各ストップには約85段階のグレー値が割り当てられる
  • この構造のおかげで、露出やホワイトバランスのような基本補正でハイライトとシャドウのディテールをより適切に扱える
  • 例を基準にすると、RGBピクセル値ごとに85を足すと露出を1ストップ上げることと同じになる
  • こうした加算・減算の補正はOffsetと呼ばれる
    • DaVinci ResolveにはOffset専用のカラーホイールがある
    • Magic Bullet Looksの4-Way Color ToolにあるGlobalカラーホイールは、ソースがLogでなくてもACES LogでOffset補正を行う
  • 同じ補正をLUT適用後やビデオ空間の映像に適用すると結果が悪くなることがあるが、LUT適用前のLogピクセルに適用すると、カメラ内で起きたかのように自然に見えることがある
  • 最後の段階で同じLUTを適用すれば、複数ショットの色を一貫して合わせやすい

ハイライト、ProRes、外部ストレージ

  • iPhone 12の映像で日光を受けた犬の毛のディテールを復元しようとすると、iPhoneが追加したコントラストのため白い値が均一な露出オーバー領域につぶれ、周辺色がポスタリゼーションを起こす
  • iPhone 15 Pro MaxのApple Log映像では、ディテールを復元したり、ACES出力変換で滑らかに露出オーバーになるように残したりできる
  • Logからビデオへ変換するときにハイライトが滑らかにロールオフする形は、フィルムではshoulderと呼ばれ、ハイライトをプロらしく見せる重要な要素
  • Logは各ストップに同じ量のデータを使うため、画像の保存方式としては最も効率的ではない
  • 高いビット深度とデータ転送レートが重要で、Apple LogはProRes録画でのみ利用できる
  • AppleはiPhone 13にProResを追加したが、Logがない場合は焼き込まれたルックのためグレーディングが難しく、大きなファイル負担を受け入れる理由は少なかった
  • 4K ProResファイルは非常に大きく、スマートフォン本体に録画するとワークフロー上の問題が生じる可能性がある
  • iPhone 15ラインはLightningの代わりにUSB-Cで充電し、USB-Cドライブを接続するとProRes Log映像がスマートフォンの写真ライブラリではなく外付けドライブに自動録画される
  • この方式によりApple Cameraアプリで4K 60fps録画が可能になり、24fps再生時にスローモーション効果を作れる

Apple Logの限界

  • Apple Logは高いビット深度とダイナミックレンジのおかげでrawの多くの利点を持つが、rawではなく、センサーから直接出た生データでもない
  • 映像には依然としてノイズ除去、トーンマッピング、色補正のような処理が入る
  • 明るく彩度の高い照明を撮影すると、Appleがシャープニングとトーンマッピングを抑えていたとしても、非常に明るく彩度の高い色で特有の過駆動現象が見えることがある
  • Logだからといって絶対に露出オーバーが発生しないわけではない
  • iPhoneは小型センサーを持つデバイスなので、Arri AlexaやSony Veniceのようなダイナミックレンジを期待すべきではない

Blackmagic Cameraアプリのマニュアル制御

  • Apple標準のCameraアプリは、Logの「プロ」という約束に比べてマニュアル制御が多くない
  • 無料のBlackmagic Camera appは必要なマニュアル制御を提供する
  • このアプリには次のようなプロ機能が含まれる
    • ライブヒストグラム
    • ディスプレイLUT
    • USB-C経由のHDMI出力
    • 複数のProResフォーマット選択

VFXとACESにおけるApple Log

  • Logのフラットな特性により、グレーディングでルックを直接作れるようになり、既知のフォーマットであることにより、複数の色空間へ正確に変換できる
  • カラリストはApple Logを好みの色空間へ変換し、iPhone映像をさまざまなカラータイムラインに正確に入れられる
  • VFXアーティストはLog映像をscene-referred linearへ変換し、色の合った3Dレンダーと合成できる
  • 例のワークフローでは、映像をEXRに変換し、Cinema 4Dの単純なジオメトリにカメラマッピングする
  • Redshiftでは、HDRピクセル値が3Dモデルに光と反射を作り、照明の大部分を処理する

ACES互換性と変換設定

  • Apple Logは文書化されたフォーマットなので、ACESカラーマネジメントシステムと接続できる
  • Apple Logは既存のACESフォーマットとは一致しない
  • AppleのLogカーブは独自フォーマットであり、Appleが文書化していて、DaVinci Resolveではすでに利用できる
  • ResolveのCSTノード設定は次のとおり
    • Input Gamma: Apple Log
    • Input Color Space: Rec. 2020
    • 理由: Apple LogはRec. 2020プライマリを使用するため
  • この入力値でRec. 709ビデオやACESccのようなACESフォーマットへ変換できる
  • Apple Logは暗いストップを少し圧縮してノイズを制御するため、ACESccよりもACEScctに近い
  • AppleはApple LogからRec. 709ビデオへ変換するLUTも提供している
  • Apple LUTはコントラストと彩度が非常に豊かで、non-log iPhone映像のルックに合わせる目的には有用だが、一部の用途には鮮やかすぎて見えることがある
  • ResolveとFinal Cut ProはApple Logを内蔵サポートしているが、一部のツールはまだ対応していない
  • Prolost Apple Log LUTはApple LogをACESccACEScctへ変換し、既存のACESワークフローに入れられるようにする
  • Apple Logが広く配布されるACES OCIO構成に含まれてこそ真のACES互換だと見る向きもある
  • それまではResolveのCSTノードやProlost Apple Log LUTのような色空間変換ブリッジがあれば、Apple LogをACES互換の形で使用できる

iPhone映像のプロダクション活用

  • このワークフローにより、iPhone 15 Pro Maxの映像をACES互換のMagic Bullet Looksに入れ、Tiffenなど実在のフィルターをモデル化したDiffusionフィルターを適用できる
  • 基本グレーディングに加えてフィルムハレーションとグレインを追加し、コンシューマー向けスマートフォンで撮影したという印象が出ないシネマティックなルックを作れる
  • 小型カメラで公共の場所で目立たずに撮影する方法は魅力的だが、従来のスマートフォンは画像を制御し、意図どおりに作る能力が不足していた
  • iPhoneがLogを撮影できるようになったことで、iPhone 15 Pro Maxは初めて、実際の仕事をスマートフォンで撮影したいと思わせるデバイスになった

1件のコメント

 
GN⁺ 2023-10-12
Hacker News の意見
  • Apple デバイスを一度も持ったことがなく、スマートフォンで写真や動画を頻繁に撮るわけでもないが、この動画プレゼンは明快で簡潔で引き込まれた
    余計な内容がなく、最後まで興味深かった

    • 動画に出ていた人物は Stu で、経歴も印象的: https://www.imdb.com/name/nm0556179/
      『Sin City』のルックのような独創性で知られており、業界で手軽なカラーグレーディングに広く使われている MagicBullet の元作者でもある
      カラーグレーディング、LUT、色エンコーディング体系をよく知る人なので、余計な話をせずにテーマをうまく説明するのは自然なこと
    • ひとつだけ余計な部分があったが、むしろとても楽しかった
      女性が階段を上る映像に重ねられていた Ren & Stimpy の Log Song サウンドトラックのこと: https://duckduckgo.com/?t=ffab&q=ren+and+stimpy+log+song&atb...
    • 同じ概念なのかは分からないが、Nikon D7100 で撮った成果物は iPhone 系より常にずっと操作しやすいという感覚があった
      より大きなイメージセンサーで RAW 形式を使う影響だと思っていたが、この理解で log を解釈すると、記事を読むときにかなり直感的に感じられた
      正確かどうかは分からないが、合っている気はする
    • 動画は素晴らしかった
      途中あたりで「ああ、動画向けの RAW みたいなものか」と思ったが、数秒後にすぐ、正確には RAW ではないと説明してくれた
  • 静止写真のデジタル画像処理の経験がある立場からすると、Log という概念は不必要に紛らわしく感じる
    まず名前がログ、つまり logarithmic だが、sRGB のような色空間でガンマが昔からやっていたことがそれではないのかと思う
    BT.709 のような一般的な映像標準にも非線形の伝達関数があるのに、なぜここで log を強調するのか分からない
    この記事を基準にすると主な利点は黒と白のクリッピングを減らして後処理の余地を多く残すことだが、高品質スキャンのような作業では非常に有用なのは確かでも、新しい「形式」まで必要なほどなのかは分からない
    ビット深度さえ十分なら、既存の映像形式でも可能なはずだと思う

    • 妙に間違っていたり微妙だったりする返信が多く付いているが、質問への答えは、sRGB/ガンマ 2.2 と log はどちらも非線形だが、ほぼ逆方向だということ
      ガンマ 2.2 はログではなく指数に近く、輝度範囲の低い側半分に多くのビットを使う一方、log はハイライト側により多くのビットを使う
      この点では HLG により近いように見える
      曲線を視覚的に比較できるグラフがここにある: https://www.artstation.com/blogs/tiberius-viris/3ZBO/color-s...
    • カメラは今や、私たちが表示できるよりもはるかに多くの情報を捉えられるレベルになっている
      この追加の精度を正確に保存するには大きなビット深度が必要だが、ビットを増やすと帯域幅も大きく増える
      原理的にはすべてを 16/32ビット浮動小数点で保存すればよく、多くの現代的なノンリニア編集ソフトは内部的にそのようなパイプラインを使っている
      しかし整数データに非線形カーブを作れば、信号を圧縮して望みどおりに調整できるため、8〜12ビットの範囲でも何とか耐えられ、保存容量の面で大いに助けになる
      log カーブでは、現在のセンサー性能を基準にすると 12ビットでも過剰かもしれない
      カメラブランドやセンサーごとに log 形式は多くあり、これらは配信用ではなくキャプチャ用
      配信時には通常、標準 SDR 向けの Rec.709 のような色空間へ変換し、HDR はまた別の問題になる
      log 形式はカラーグレーディング作業で後処理の余地を大きく与えてくれる
    • Rec.709 色空間の伝達関数は実際には非線形だが、保存されるピクセル値同士は線形関係にある
      8ビット信号だとすると、20 と 21 の差は 120 と 121 の差と同じで、すべてのピクセル値が同じ量の情報を持つ
      その後の段階で、これらの値が非線形のガンマカーブにマッピングされる
      一方、log 色空間はピクセル値そのものに非線形関係を使うため、非可逆圧縮のように動作する
      信号が 8ビット値を経由しなければならないなら、最終的なガンマカーブに入る前に圧縮方式を使うのは賢い選択
      低いピクセル値と高いピクセル値の周辺の精度を下げ、中間領域の精度を上げれば、特定の領域でカメラセンサーの情報をより多く引き出せ、より高いダイナミックレンジもマッピングできる
      要約すると、従来の Rec.709 では保存は線形で、その後に非線形の伝達関数へマッピングされるが、log では保存自体が非線形で、その後に再び非線形の伝達関数へマッピングされる
      本質的には、カメラ内でピクセルを保存するときに非可逆圧縮を行っているようなもの
    • デジタルカメラの RAW 形式もデータを log 形式で保存する
      RAW 変換プロセスは通常これを色空間に変換し、ほとんどのカメラではデベイヤー処理も行う
      カメラ内で JPG を作る内蔵コンバーターも同じことをする
      私たちの目は実際には対数的な光を線形のように認識する
      ここで映像と写真の違いはほとんどなく、ただ消費者レベルでは写真で RAW を扱うことの方がはるかに一般化しているだけ
    • 要点は対応状況
      .zip 形式は LZMA/ZStandard 圧縮と 4GB 超のファイルをサポートしているが、そのように作ると .zip をサポートするとされる多くのソフトウェアが展開できない
      log も同じで、理論上は .mp4 や .mkv に H264 を log としてエンコードできるだろうが、多くのアプリが正しく表示できなかったり、そもそも開けなかったりする可能性が高い
  • 最近、妻が見せてくれた動画を見て、iPhoneで撮ったものだと分かると言ったのだが、単に色が強いだけではなく、動きを滑らかに見せる方法が肝だと思う。
    セルフィーのVlogやTikTok系では、周囲をぐるっと回して見せるのが流行しているが、iPhoneはそれをステディカム機材で撮ったものの、少し追従しきれていないような感じに仕上げる。

    • 最近はHDR動画も加わっていて、原始人みたいな自分の頭では「より明るい明部」くらいに理解している。
      そこに画面輝度もずっと高くなったことで、映像がはるかに現実的に見える。
      M1 Proの画面で初めて気づき、最大1600ニトの明るさには本当に驚いた。
      今いちばん目立つ「iPhoneで撮った」特徴はこちらだ。
      もちろん別の方法でもHDR動画は作れるし、まもなく他のプラットフォームでもより広く使われるようになるだろう。
    • 誰かがiPhoneでCall of Dutyが動いているデスクトップ画面を撮って投稿していたが、Redditの最上位コメントはゲームがDisney風に見えるというもので、的確な評価だった。
    • Nikon、Canon、Sony、Fujiのようなカメラ会社にも、RAWセンサーデータをJPEGに処理する方法にそれぞれ固有のルックがあることはかなり知られている。
      最終的な色味に差が出る。
    • 言いたいことはよく分かる。
      悪く見えるという意味ではないが、iPhoneで撮った動画にはいつも見分けられる小さな手がかりがあり、特にモーション処理が大きな部分を占めている。
    • 数世代前までは、iPhoneで手持ち撮影した動画は手ぶれ補正がなかったか、ほとんど効果的ではなかったが、今は手ぶれ補正が良い。
      動きが滑らかすぎるという妥協は受け入れられると思う。
  • プロシューマー向けや趣味用の映像機材メーカーなら、Appleが次に何をするか恐ろしく感じるだろう。
    AppleはすでにFinal Cutとコーデック設計で編集市場にかなり食い込んでおり、複数の一般的なコーデックを支配し、現場には数百万台のデバイスと強力な製造能力を持っている。
    シネマの最上位市場はまだ危険ではないと思うが、それ以外は心配すべきだ。

    • 携帯電話はすでに単体カメラを殺した: https://d3.harvard.edu/platform-digit/wp-content/uploads/sit...
      今は仕上げ作業にすぎない。
      残る製品は、ライブスポーツ用の超望遠機材と4K+ IMAXデジタルシネマカメラくらいだろう。
    • AppleはBlackmagic Designとかなり近いように見えるが、だからといって彼らがSherlockされないという意味ではない。
      Appleはすでにこのカテゴリ全般に製品を持っており、ワークフローと物理法則のために市場はしばらく違った形で残るだろうが、物理法則も以前ほど安全には見えない。
      現在、ソーシャルメディア向けの最高の編集ソフトウェアはCapCutに見える。提供する機能に対する使いやすさが他よりはるかに先を行っている。
    • 携帯電話は小さなレンズを使うコンパクトなオートカメラをすでに殺した。
      しかし大きなレンズを使うDSLRは、物理法則のためになくならない。
      低照度で高品質な映像を撮ったり、さまざまなレンズで作業したりするには、携帯電話の小さな絞りでは絶対に十分ではない。
    • 既存のプロ映像パイプラインを少し脇に置くと、VR/AR向けのリアルなキャプチャという観点では、MetaならAppleの次の一手が恐ろしいはずだ。
      次世代OculusがApple Vision Proと表示品質で同等になったとしても、プロ級の映像キャプチャ機材を作り、そのセンサーを消費者向けデバイスに大規模統合する実証済みのサプライチェーンを併せ持てるのはAppleだけだ。
      iPad Vision Proのような製品に、目の間隔だけ離れた2つのカメラとレーザー距離測定が入る可能性については楽観している。
      そうなれば両眼のApple Logキャプチャが可能になり、点群レンダリング用のGaussian splattingと、隠れた点の色や質感を推定する生成AIが発展することで、プロとしてカラーグレーディングされたインタラクティブなシーンを作れるようになる。
      欠けているのは、DaVinci Resolveのようなツールにおけるこのワークフローのより良いエルゴノミクスだけで、Appleの資金力ならそれを後押しするうえで大きな役割を果たせる。
      高品質なVRコンテンツはApple製品で作られ、検収され、消費されることになる。
      Appleが急がないのは、他の誰も近づける見込みがないからだ。
    • 恐ろしいのは、Appleが細かな要件を殺せるほど十分に優れている点にある。
      例えば、プロだからヘッドフォンジャックが絶対に必要なのに、Appleがヘッドフォンジャックをなくしてしまう、という具合だ。
      より間接的には、ヘッドフォンジャック、さらにはXLRヘッドフォンやマイクまで提供していた少量高マージンの代替業者を殺す。
      Teslaが自動車体験を90%良くしたが、ダッシュボードをなくしてしまったのと似ている。
      今ではPRNDや方向指示器のような操作レバーまでなくしてしまった。
  • カメラセンサーにログスケール/浮動小数点 ADCを直接入れることに、もっと関心が集まらないのはいつも意外だった
    人間もアルゴリズムも、明るい領域より暗い領域の数ビットの差にずっと敏感だし、コンピューターサイエンスの他の分野では広い範囲の値を表現するために浮動小数点をよく使っている

    • 2003年ごろ、SMaL という会社がこれをやっていた
      autobrite センサーはログスケールをネイティブにキャプチャするよう作られていた
      その後、所有者が二度変わり、プロ向け映像よりも車載ビジョンシステム方面で成果を上げているように見える
      https://www.vision-systems.com/cameras-accessories/article/1...
    • アナログ設計の観点ではあまり筋がよくないと思う
      自分はアナログ設計者ではないが、CMOS カメラセンサーでデジタル設計者としてアナログ設計者たちと密に仕事をしていた
      すでに最下位ビットではアナログ信号から可能な限り多くの情報を引き出しており、ログスケール ADC を設計したからといって最下位ビットからより多くの情報を取り出せるわけではない
      得るものがほとんどないのに、なぜより複雑なアナログ回路でより少ない情報を抽出するのか、という話
      通常は、何を残して信号をどう圧縮するかはデジタル側に決めさせる方がよい
      CMOS カメラセンサーはチップ上でかなり多くのデジタル処理ができるので、データをチップ外へ送る前にログスケール変換のような処理を行える
      SAR ADC では上位ビットに信号があれば下位ビットの AD 変換をスキップして消費電力を減らせるかもしれないが、削減効果は大きくなさそう
    • 多くの処理ステップは線形性を前提としているため、浮動小数点やログスケールのデータを使うには再設計が必要になる
      ほとんどの HDR センサーはセンサー読み出しに何らかの形でログ圧縮を使っているが、浮動小数点 ADC はほとんど聞いたことがない
      検索しても、簡単に入手できるものではなさそう
    • 最近の 14ビット級センサーで、量子化誤差が暗部に本質的にあるショットノイズなどと比べて本当に大きな問題なのかは疑問
    • 浮動小数点 ADC というものはなく、2つのボリュームレベルに割り当てたステレオを float に詰め込むようなものにすぎない
      カメラのハードウェアアクセラレーテッド HDR は今では一般的で、特にドライブレコーダーや CCTV カメラでよく使われている
  • USB-C ストレージに直接録画できるとは知らなかった
    1TB のスマートフォンに馬鹿げた金額を払う大きな理由が一つなくなるし、4K ProRes を撮る人にとっては間違いなくゲームチェンジャー

    • 自分の理解では、むしろスマートフォン本体に直接録画することはできず、外付け USB-C ドライブに録画する必要がある
      推測だが、高い書き込み速度による発熱の懸念が理由である可能性が高い
  • 高いビット深度とダイナミックレンジのおかげで log 映像は RAW の利点を多く持つが、Apple Log は RAW でもなければセンサーから直接出てきたものでもない
    依然としてノイズ除去、トーンマッピング、色調整がかなり入っている
    結局のところ、小さなセンサーと小さなレンズを備えた非常に小さなカメラなので、こうした処理の魔法がなければ、ほとんどの状況で画像がかなりひどく見えるからなのか気になる

    • RAW 動画は RAW 写真とは違う
      RAW 動画のサイズは本当に膨大で、カメラが外部レコーダーなしではネイティブに RAW 動画を記録できないことも珍しくない
      処理が重要ではないという意味ではないが、2,000ドルのミラーレスカメラでも内部 RAW 動画記録ができない場合がある
    • 最近のスマートフォンカメラはすべてこの方式で動作している
      センサーとレンズは小さく、プロセッサは非常に高速
      そのうえ大多数の人は「正確な」または「現実的な」写真や映像を求めておらず、見栄えのよい成果物を求めている
      だから処理が中核になり、現実とどれだけ違うかに関係なく、人々が見て気に入る画像を作ることが重要になった
    • Sony A7 シリーズのように Log 撮影が可能な高級カメラでも、ある程度のノイズ除去を内部で適用している
      ほとんどの圧縮形式ではこれが重要
      ただし、最高級のシネマカメラの画像でさえ、後処理の大半を切るとどれほどノイズが多くシャープでないかを見て、多くの人はショックを受けるだろう
  • 写真・映像制作を趣味にしている人なら、Log は Android から iPhone に乗り換える強い理由に見える
    エコシステムははるかに成熟しており、差も縮まるどころか広がっているように思える
    Android には MotionCam の Raw Video があり、結果は非常に良く、iPhone の ProRes 動画より優れていることもあるが、それ以外はどれもいまひとつ
    [1]: https://youtu.be/O5fnGDR4i9w?feature=shared

    • 間違っていたら訂正してほしいが、Android が Log や類似機能をサポートできない理由はなさそう
      映像エンジニアではないが、iPhone 15 以外ではサポートできないほど魔法のような技術には見えない
      実際に勢いが出れば、次の Android フラッグシップに入ると思う
    • Android には mcpro24fps アプリがあり、複数の log プロファイルや 10ビット動画撮影などをサポートしている
    • MotionCam は素晴らしい
      圧縮 RAW 動画の特許を持つ RED の弁護士たちのレーダーをうまくかいくぐっているが、長く続いてほしい
  • 私はインフルエンサーでも、ファッションモデルでも、インテリアデザイナーでもなく、携帯電話のカメラで「コンテンツ」を作っているわけでもない
    物を記録するために使っており、自分が見たものを正確に表す鮮明な写真が必要だ
    今や私たちはオートフォーカスや自動シャッタースピードを越えて、カメラがその場で補正・編集する方向へ進んでいて、これは危険だ
    こうしたカメラで撮った写真は、もはや正確な再現とは言いにくい
    影の補正、くすんだ色を鮮やかな色に変えること、質感を滑らかにすることなど、すべての写真は今や機械が作った芸術作品であり、歪められた再現だ
    これは後で私たちに跳ね返ってくるだろう
    例えば警察のボディカムが、夜に顔をよりよく見えるよう自動調整するとしよう。警察官は「顔は見えなかった」と言うが、ボディカムは顔を真昼のように鮮明に映せるかもしれない
    より鮮明で有用な写真を撮ったのは確かだが、その警察官が実際に経験した現実を適切に描写したものではない

    • すべての写真が機械の作った芸術作品だという点は、昔からそうだった
      それを避けるためにごく特定のカメラ設定をしない限り、カメラ写真には常に特定の特性が表れ、カメラによってはそれが主要なセールスポイントだった
      Hasselblad、Polaroid、Canon、Sony のいずれも、出力にそれぞれのルックがある
      警察のボディカムの例については、逆方向の似たような論理を挙げることができる
      iPhone は発売以来、私たちが目で見るように肌の濃い人をうまく写せず、完璧な照明でなければ顔のコントラストをセンサーが捉える点に明らかな問題があった
      今話している補正のおかげで、iPhone は一部の人々を実際に見る姿により近く見せられるようになった
      だから警察官が「顔は見えなかった、カメラが良すぎただけだ」と主張するなら、かなり慎重に受け止めるだろう
    • 即時の補正と編集へ移行しているという問題意識は良いポイントだが、この文章のテーマはそこではない
      これは既存のデジタルシネマカメラの機能を携帯電話に持ち込む話だ
    • これまでは、見えている世界を正確に写真や映像に収めていたのではなく、機器メーカーが提供するバラ色のレンズを通して撮ってきたのかもしれない
      今日、携帯電話やカメラで撮る写真・映像には、キャプチャソフトウェアのプリセットに応じて自動的な歪みが適用される
      Vibrant、Indoor、Portrait、Landscape のような選択肢がある場合もあるが、カメラが実際に見たものを見ているのではなく、メーカーが見せたい結果を見ているのだ
      Log映像は RAW 写真に似ている
      この機能がさらに広まれば、犯罪捜査などで証拠を Log や Raw モードでキャプチャすることが要件になるかもしれない
      まだないのであれば、写真と映像の EXIF に、その画像がどのようにキャプチャされたかを示す署名とメタデータが必要だ
      そうすれば、メディアがどの程度操作されたかを判断できる
    • この問題は Rittenhouse 裁判で、すでに法廷上の争点として有名になった: https://journals.library.columbia.edu/index.php/stlr/blog/vi...
      HN でもここで議論されていた: https://news.ycombinator.com/item?id=29187820
    • カメラ、フィルムカメラまで含めて、私たちが見ているものを完全に正確に代表する写真を撮れたことはない
      デジタルセンサーやフィルムは人間の目のようには知覚せず、それを保証するのは常に写真家の役目だった
      自動で撮るなら、正確さをカメラに推測させる選択をしたということだ
      ほとんどの人は実際の現実を好まないので、露出不足・露出過多、長時間露光・短時間露光でどの現実を表現するかを選び、人工照明を使い、メイクをし、舞台のような場面まで作る
      純粋なフィルムの時代にも、人間は成果物を変えてきたし、覆い焼きと焼き込みは事実上フィルムにおける補正作業だった
      スマートフォンカメラは、より「正しい」出力を得るために計算を使っており、顔を滑らかにするような、画像を変える機能だと明示されているものは別だ
      カメラメーカーとフィルムメーカーは、人間の目が見られる範囲をよりよく知覚できるようにするか、少なくとも現実と芸術の間で判断するためのデータを与えようと常に努力してきた
      警察官の例は、核心的な論点とはまったく無関係だ
  • 動画で言及されていた利点は、ほぼすべて後処理の不足と高いダイナミックレンジのように見える
    映像分野で log がそういう意味なのか気になる

    • Logはコントラストが低いので、完全に飽和した色や純白・純黒へクリッピングされる可能性が低い
      クリッピングは本質的に最大ダイナミックレンジを制限する
      またlogは画像に「ルック」が焼き込まれていないという意味でもあり、ゼロから始められるため、異なるメーカーの2台のカメラ映像を自然につなぎ合わせやすく、画像に自分の個性を加えやすい
      一般に撮影分野では技術用語が厳密に使われないことが多く、ある技術の利点が別のものの利点として混同されるようなカーゴカルトも多い
      学ぶときにノイズを取り除くのがしばしば難しいと感じる
    • 映像分野で「log」という言葉は過度に多くの意味で使われるので、正確に何を意味しているのかさらに聞く必要がある
      整数であれ浮動小数点であれ、ピクセル値ひとつだけではあまり意味がなく、その値の文脈である色空間が必要になる
      一般的なプロセスでは、カメラのキャプチャ色空間、色処理用の作業色空間、ディスプレイ色空間が併用され、ピクセルはパイプラインを通る中で色空間変換を受ける
      古典的な色空間ではピクセル値は線形の関係を持ち、同じ量の情報を含む
      log色空間はすべて非線形のガンマカーブを持ち、非常に低い、または高いピクセル値の情報をあまり保持せず、中間領域の情報をより多く保持する圧縮形式である
      人間の目はすべての明るさレベルに同じように反応するわけではないため、両端のディテールを捨てて中間領域のディテールを増やす選択はたいてい優れている
      非線形圧縮のおかげで、同じビット数により広いダイナミックレンジをマッピングでき、その範囲の大きさは使用する色空間によって決まる
      カメラの品質が上がると通常ピクセル値に10ビット以上を使い、logカーブと組み合わせることで情報密度が高まり、より高いダイナミックレンジのキャプチャが可能になる
      その結果、後処理で露出などをはるかに大きく修正できる
      最後に、LUTは線形近似であり、「本物の」色空間変換はより高い精度のために数学的な曲線を使う
    • そうではなく、「log」は色データをエンコードするときに何らかのログ応答曲線を使うという意味にすぎない
      ダイナミックレンジが必ず良くなるわけではないが、センサーが受け取る光のサンプルをより有用に配分できる
    • 後処理の不足はlogの意味ではない
      見栄えを良くする処理をしないことは、すべての非コンシューマー向け機器のデフォルトである
      高いダイナミックレンジはそのとおり
      実際、logは空間を最適化するために、どの色情報のビットを残し、どれを捨てるかを選ぶ問題である
      logは中間調のディテールを犠牲にして、非常に暗い領域と非常に明るい領域のディテールを保持するよう最適化する
      非logは中間調に最適化する
      明るい青空と日陰に座る人のようなコントラストの高いシーンではlogを使い、平均的なコントラストのシーンでは中間調のディテールをより得るために非logを使えばよい
      写真では空間最適化の必要性がはるかに低いので、logはほとんど必要ない
      映像は最低でも毎秒24フレームだが、写真は通常はるかに少ないフレームを撮るため、写真では単に常にすべてをキャプチャすればよい
    • ある程度は正しい
      log形式は非線形なので、非常に明るい領域に比べてシャドウにより多くのディテールがある
      これは人間の目と脳が線形の感度範囲を持たないことに似ている
      カメラでよく使われる光の単位であるストップは絞りホイールの1クリックで、たとえばf/11からf/16にすると光量は半分になる
      私たちには線形に見えるが、実際には対数的である
      人間の目のダイナミックレンジは約20〜22ストップ、良いカメラは12〜14ストップ、まともな画面は8〜10ストップ、印刷媒体は5〜7ストップ程度である
      写真と映像は、カメラが捉えたものよりはるかに限られた画面や印刷媒体のダイナミックレンジを活用するために、光を圧縮し移動させる作業である
      通常はニュートラルグレーに合わせて露出し、これは光の約18%なので、暗い情報の半分がこの18%の範囲にあり、残り半分がより明るい領域にある
      しかし目は暗部をはるかによく知覚するため、線形形式は保存に理想的ではない
      log形式は暗い半分により多くのビットを、残りの明るい82%にはより少ないビットを割り当てる
      RAWセンサーの読み出し値に対数関数を適用するため、画面上ではすべての値が18%ニュートラル付近に集まり、平坦に見える
      適切なLUTを適用してこれを戻し、シャドウをほぼ黒に、ハイライトをほぼ白にし、白点・グレー点・黒点を自由に動かせる
      LUT適用前にlog値へ色の演算を適用することもできる
      線形形式の処理と大きくは変わらないが、出発点で暗部により多くのビットを使っているため、後処理で活用できるキャプチャダイナミックレンジがより多い
      iPhoneの弱点は、log形式で保存しても、撮影中にカメラ内でLUTを変更したり確認したりする能力が実質的にない点である
      CPUやバッテリーへの負荷が大きすぎるためと推測され、最終結果がどう見えるかは後処理まで待つ必要がある
      一部の高級カメラは、カメラ内で調整可能な処理を多く提供している