- ZeissのHolocamは、ガラス窓、ノートPCの画面、自動車の窓、玄関ドアのガラスのような透明な媒体をカメラのように使えるようにする、ホログラフィーに基づく技術
- カメラが画面内に透明に統合されれば、カットアウトやパンチホールなしで配置でき、ビデオ通話での視線合わせの問題も軽減できる
- 基本原理は、ホログラフィック・インカップリング、光誘導、デカップリング要素によって、透明媒体に入った光を隠れたイメージセンサーへリダイレクトする仕組み
- CES 2024での発表は、ZeissのMultifunctional Smart Glassと自動車向け応用に焦点を当てており、スマートドアベル、Webカメラ、駐車カメラ、顔/ジェスチャー認識、ドライバーの疲労検知といったユースケースにつながる
- 窓やシャワードアまで監視装置のように使われ得るという隠しカメラへの懸念があり、日常製品への適用には利便性とプライバシーの問題が伴う
Holocamの基本概念
- ZeissはHolocamをCES 2024で披露し、この技術はガラスや画面のような透明媒体をカメラのように動作させる
- 適用対象として、自動車の窓、ノートPCの画面、玄関ドアのガラスなどが挙げられている
- 透明なガラスや画面を、見えないイメージセンサーを備えているかのように使える
透明カメラが変える画面設計
- カメラを完全に透明にできれば、画面のカットアウトやパンチホールが不要になる
- ビデオ通話では、カメラを画面の上や画面内の望む位置に置けるため、会話相手とより自然に目を合わせられる構成が可能になる
- 「画面のどこを見てもよいWebカメラ」のような使い方も可能になる
動作方式
- Holocamは、透明媒体に入ってくる光を隠れたイメージセンサーへ送る構造
-
主要な光学要素
- ホログラフィック・インカップリング（holographic in-coupling）
- 光誘導（light guiding）
- デカップリング（de-coupling）
- ガラス全体が目に見えるカメラモジュールのように出っ張っていなくても、光をセンサーへ伝えられる
CES 2024での焦点と適用例
- ZeissのCES発表は、Multifunctional Smart Glassシステム全体と自動車応用に焦点を当てた
- 自動車内でホログラフィーが操作性を改善する事例が中心だが、より幅広い製品群へ拡張できる
- 応用例は次のとおり
- 別途カメラモジュールを必要としないスマートドアベル
- 画面のどこを見てもよいWebカメラ
- 完全に隠せる駐車カメラ
- 画面ベースの顔またはジェスチャー認識
- 顔認識によるドアの解錠
- ドライバーの疲労検知
- ノッチやパンチホールのないスマートフォンとタブレット
光学的な可能性と残る疑問
- ガラス板全体をカメラレンズのように使えば、新しい光学的な可能性が生まれる
- Zeissの項目には「large aperture invisible camera」と「individual adjustment of orientation and size of the field of views」が含まれている
- このようなカメラの最大絞り値や焦点範囲がどの程度になるのかは、まだ気になる点として残っている
プライバシーへの懸念
- Holocamのような技術は、隠しカメラの問題に直結し得る
- Airbnbの隠しカメラに対する懸念がある中で、賃貸宿泊施設の窓やシャワードアまで監視に使われる可能性は不快に感じられる
- 技術そのものは興味深いが、日常利用へつながる場合、見えないカメラの存在をどう扱うかが重要になる
1件のコメント
Hacker News の意見
心配している人たちに言うと、これは現時点では製造が極めて複雑な高度に特殊化されたガラスで、熱力学の法則上、100%透明にもなり得ません
既存の窓ガラス越しの監視を可能にするものではなく、支援機材を置くスペースと数万〜数十万ドルの費用があって、ようやく新規設置で可能になり得るものです
こうしたカメラガラスには少なくとも薄い色味があり、特殊用途に使われるでしょうし、信号対雑音比・解像度・低照度性能もかなり悪いはずです
現在この技術の構造的構成要素は、主に超高価な航空宇宙分野のヘッドアップディスプレイ類に使われているため、今後10年以内に遭遇する可能性は低そうです
今心配すべきリモートセンシング技術は、mmWave・壁透過レーダー・Wi-Fi干渉計の組み合わせを使ったRF監視のほうです。iPhoneはMACランダム化を行いますが、車のTPMSを含む他の機器はそうではない、という点もあります。GeigerモードLiDARも興味深く、以前勤めていた会社はデモとして、ある人の家の内部をマッピングしたことがあります
レンズが2mmのピンホールカメラはすでに安く簡単に手に入るので、これほど選択肢が多い中で高価な「窓カメラ」を使う理由はほとんどありません
政府の監視や資金が十分にある相手を心配している場合なら気にする価値はありますが、私たちの大半はその範疇には入りません
普通のガラスも、可視光だけを見ても100%透明ではありません。容易に識別できるかを心配しているなら、可視光領域での差を見るべきではないかと思います
さらに、一部のガラスは意図的に色を付けますし、動的な色味調整もここでの応用分野です。理論的には、ガラス端部周辺の反射を捉えるだけでもそこそこの信号を得られるのではないかと思います
今ではミラーボールをカメラで撮って3D再構成もできます。ノイズは大きいでしょうが信号はあるはずです。投影が可能なら、その逆も可能なはずで、ガラス内部構造がそこまで方向依存的だとは思えません。昔光学をやっていたので、何か見落としているのかもしれません
任意のガラス板を解析して高精度な導波路として使うための全変換を導き出すシステムだなんて。実際、以前マネージャーにそういうものを開発してみろと言われたことがあり、これを実現するには光学博士を何十人採用してもいいのかと尋ねたことがあります
記事はカメラ構成要素だけを扱っていて手薄です。奇妙なことに、ホログラフィック／光学ディスプレイのストック画像を選んでおきながら、その話は一度もしていません
Zeissのサイトのほうがずっと読む価値があります: https://www.zeiss.com/corporate/en/about-zeiss/present/newsr...
要約すると、ZEISSはCES 2024で、ディスプレイ・投影・フィルタリング用のホログラフィックSmart Glassと、別構成要素であるホログラフィックカメラを公開しました
Holocamは結合・分離・光誘導要素を使って入射光を隠れたセンサーへ送るため、見える領域に切り欠きや設置スペースが必要ありません
ZEISSはメーカーになる計画がないため、他社がこの技術を使えるようにしようとしているようです
残りはすべて、アーティストがごまかしている画像に近いです
「ガラス表面もエネルギーを生み出せる。窓ガラスの微細光学層が入ってくる太陽光を吸収し、集中的な形で太陽電池へ伝える。これは既存の窓の利点である自然光と制限のない視界に、効率的なエネルギー生産という追加の利点を組み合わせる」というのは、本当に驚きです
必要な角度をサポートするために、フロントガラスに追加のエッチングや蒸着膜があるのかもしれません
カメラを別の場所に置き、フロントガラスや他のガラスを同じように目立たない形で改変して別の物体を見ることも可能そうです
第二に、3番はいつも警告サインのように感じます。「研究室では動くが、製造方法は分からない」の暗号であることがあります。「ライセンスできる素晴らしいプログラムのアイデアはあるが、ここには実際にコーディングできる人がいない」に似ています
第三に、これが普及したときの波及効果は過小評価しにくいです。SF映画のような透明ディスプレイを作れますし、視線がきちんと合うビデオ会議システムも可能で、別の服を着た姿を見せる鏡も実現できそうです
ただし3番のせいで興奮は冷めます。CESに実物展示があったという発表を見落としたのか気になります。実物展示だったなら、確認しにラスベガスへ飛ぶことも真剣に検討したと思います
これは逆方向のライトガイドだ。私たちは昔からビームフォーミングをやってきたし、その逆、つまりライトパイプを通したイメージングが可能だというのは驚くことではない
核心的な問題は、十分なエネルギーを集めることだ。浴室の鏡のように十分照明された対象なら、鏡がライトガイドの背後にあるので、かなりうまく動作し得ると思う
ライトガイドが効率的すぎると不透明に見えるはずなので、トレードオフが必要になる
「どんな窓でも変えられる」という表現はかなり誤解を招く。私が見落としていなければ、非常に特殊なガラス、少なくとも特殊なコーティングやラミネートが必要だ
プライバシーを心配する人にとっては、ほとんどの場合、どこかにごく小さなスパイカメラを仕込むほうが簡単で安上がりだ
Zeissが薄利の低価格ガラスを売り出すとは思えない
とはいえ、プライバシー面の論点が大きく弱まるわけではない。ライセンスが無料だとしても、同様の目的を達成する既存技術より、構成部品の製造コストは確実に数桁高くなるはずだ
https://www.microsoft.com/applied-sciences/projects/the-wedg...
その逆、つまり信号受信を行うことは、どの周波数でも出たばかりの新技術に近い
今ではこういうことは簡単になり、マイクロ単位まで複数段階で作れる。「NSAよ、合成眼の上に単純な光学的Prince Rupert dropを載せろ」という感じだ。発見されたら自壊するファイバーレンズ、というわけだ
数年前、OberkochenのZeissを訪問したことがある。本社は素晴らしく、古いリトグラフも何点かあった。機器のいくつかは8,000万ドルほどしたと思う
Autobahnの向かい側の施設はあまりに敏感で、トラックが通るだけで装置が揺れるほどで、それを防ぐためにAutobahnに緩衝材を敷く必要があった
その前にすでに、基礎を何らかのサスペンションの上に載せていた。同僚は、Zeissは欧州で博士号取得者を最も多く採用している会社だと言っていた
装置があまりに敏感なので、施設全体のエアコンユニットをサスペンション上に載せる必要があり、キャンパス内で運転するときも急加速・急減速をしないよう求められるらしい
「Airbnbの隠しカメラ恐怖がある中で、賃貸宿泊施設のすべての窓、さらにはシャワーブースの扉まで監視装置になり得るという考えは、かなり不安だ」という部分に共感する
この技術には本当に興味深い潜在的応用があるが、同時にかなり不安な面もある
カメラ付き携帯電話の普及やMetaの眼鏡のような技術の登場は、すでに私たちを不安ではあるが興味深く、時には有用な方向へ押しやっている。それでも、こうした最先端の概念の一部は心配だ。壁越しに見るWi-Fiも思い浮かぶ
Google Glassが常時撮影できる点を人々は嫌がったが、今度は物理的なカメラすら見えないかもしれない
Ray-Ban/Metaには、カメラ使用中であることを示すライトを着用者が覆っていないか検知するセンサーがあると理解しているが、あらゆるガラス片がカメラになると、その方式がどう機能するのか分からない
調べてみたところ、関連していそうな特許を見つけた: https://patents.google.com/patent/WO2020225109A1/en
“Holocam”という表現を使っており、ドイツ語ベースで、プレスリリースが初期の主な用途として自動車向け応用に触れているのは、Audiが出願しているため。ドイツ語からの翻訳なので、一般的な特許より少し読みづらい
プレスリリースの大胆だが曖昧な主張以外に深い情報がまったくなく、もどかしい。PRだけ見ると、すべてを変える奇跡的なブレークスルーのように聞こえる
Zeissの原文プレスリリースは、「ホログラフィック層の透明度は、画像再現の鮮明さに最小限の影響しか与えない。可視画像を補完するために、スペクトル成分を追加情報として検知することもできる。その結果得られるデータは、大気汚染やUV曝露のような環境汚染についての洞察を提供する」程度のことを付け加えているだけ
しかし経験上、こうした大胆で曖昧な主張には、実際にはコスト、電力、忠実度、サイズ、速度といった相当なトレードオフや制約が伴い、適用範囲を限定する。特に新技術の初期実装ではなおさらだ
それでも、興味深く有用である可能性はある。残念ながらZeissのマーケティングは、関連するトレードオフや制約を整理した技術的説明を出す代わりに、かくれんぼを選んだため、どこで有用なのかを考える手がかりがほとんどない
Zeissの人と話せるなら、まず追加コンポーネントがガラスの光学特性にどの程度影響するのか、得られる画像データの解像度はどれくらいなのか、エッジ部分のコンポーネントはどの程度の大きさで、キャプチャ領域からどれくらい離せるのかを聞きたい
そして、得られるイメージングシステムの出力が、F値、絞り、イメージセンサーのサイズ・密度、ゲイン、焦点距離といった従来のカメラ・レンズ指標にどう対応するのかも気になる。結局のところZeissは光学企業なのだから
説明セクションに出てくる論文はここで読める: https://www.academia.edu/52566311/_title_Volume_phase_hologr...
特許図面で20と22として示されている項目は、この種の格子で、おそらくフリンジが45度に傾いた形だと思う
この特許を引用している別の特許からも追加情報が得られる。後者の共同発明者の1人が発明した特許: https://patents.google.com/patent/DE102019206354A1/en
数分探してみたが、Zeissはまだプレスリリース以外には公開していないように見える: https://www.zeiss.com/corporate/en/about-zeiss/present/newsr...
「ガラス表面もエネルギーを作れる。窓ガラスの微細光学層が入ってくる太陽光を吸収し、集光した形で太陽電池に伝える。これは既存の窓の利点である自然光と制限のない眺望に、効率的なエネルギー生産という追加の利点を組み合わせる」という部分はかなり格好いい
ただ、効率についての言及がまったくないので、プレスリリースのこの部分は少し煙と鏡のように感じる
「非見通し線イメージング」、つまりNLOSで検索するとよい。公開論文ひとつだけでもこの程度だ: https://www.pnas.org/doi/full/10.1073/pnas.2024468118
公開されているものがこの水準なら、情報機関は何を持っているのかと考えさせられる
この動画のほうが、記事よりも彼らの言っている内容をよく示していると思う: https://www.youtube.com/watch?v=NORPeCcIXRQ