塩粒サイズの「meta-optics」カメラ
(cacm.acm.org)- Princeton UniversityとUniversity of Washingtonの研究チームが、塩粒サイズのmeta-opticsカメラを実現し、同等の画質を出す既存カメラより500,000倍小さいイメージング装置を提案
- 幅0.5mmのmetasurface上に160万個の円筒形nano-antennaを配置し、半導体チップのように製造できる構造で小型化の可能性を高めた
- 従来のmeta-opticsカメラは鮮明な広視野角フルカラー画像に限界があったが、今回の装置はフルカラー・広視野角画像を既存カメラに近い品質で生成
- 研究チームはAI最適化でnano-antenna設計を高速に計算し、物理ベースのニューラルネットワークでカメラが生む収差を除去する、ハードウェア・ソフトウェア統合パイプラインを使用
- より小型の内視鏡、スマートフォン・ウェアラブル・AR/VRカメラ、ドローン、表面全体をカメラにするアレイ、宇宙向け超軽量望遠鏡などの応用につながる可能性がある
塩粒サイズのmeta-opticsカメラ
- Princeton UniversityとUniversity of Washingtonの研究チームは、meta-opticsカメラを塩粒1個ほどの大きさで実装した
- このカメラは既存カメラよりはるかに小さい一方で、既存カメラと同等のフルカラー画像品質を目指している
- 同レベルの画像品質を捉える既存カメラと比べると500,000倍小さい
- この装置は研究チームが開発した超小型カメラシステムで、metasurface技術に基づいている
- metasurfaceには160万個の円筒形の柱が埋め込まれている
- 製造方式はコンピューターチップの生産に類似している
既存レンズの限界とmetasurfaceアプローチ
- カメラ設計では、装置をできるだけ小さくしながら多くの光を記録する必要があるため、サイズと光量のトレードオフが中核的な制約となる
- スマートフォンは本体が薄くなっても、より高い写真品質のために複数レンズを搭載することで、カメラモジュールが大型化・突出する例となっている
- metasurfaceは光を独特な方法で制御できる人工材料である
- 幅は0.5mm程度の超薄型平面構造である
- 表面には「nano-antenna」と呼ばれる数百万個の円筒形の柱がある
- 各nano-antennaは光を特定の方法で形成するよう調整できる
- 標準的な屈折レンズはレンズ表面形状と材料の変化で性能を改善するが、metasurfaceはサブ波長レベルで光を制御できる
- このカメラのmeta-opticレンズは0.5mm、センサーは1mmサイズで、単一のmetasurfaceが従来レンズより大きな光偏向能力を持つよう設計されている
以前のmeta-opticsカメラとの違い
- 研究チームは、カメラにmetasurfaceを使うという概念そのものではなく、実際の映像用途に使える品質を実現することに焦点を当てた
- 従来のアプローチでは、鮮明で広い視野角のフルカラー画像を捉えるmeta-opticsカメラ設計には到達していなかった
- 今回の装置は、フルカラー・広視野角イメージングのための初の高品質偏光非依存nano-optic imagerとして紹介されている
- 一桁大きい既存カメラと比較しても、画像品質は同等レベルである
AIベース設計と後処理パイプライン
- 研究チームは、ハードウェア設計とソフトウェア後処理を同時に改善することで、従来のmeta-opticsイメージングシステムの限界を低減した
- 第1段階は、metasurface上のnano-antenna設計をAI最適化アルゴリズムで計算することである
- metasurfaceの光学応答をシミュレーションし、その勾配を計算する作業は計算コストが高い
- 研究チームは、metasurfaceの物理を高速に近似する「proxy」を作り、設計を高速に計算した
- 第2段階は、物理ベースのニューラルネットワークでカメラが捉えた画像を処理することである
- このニューラルネットワークはmetasurfaceの物理に基づいて学習される
- カメラが生む収差を除去できる
- 研究チームはmetasurfaceを最適化可能な微分可能層として扱い、光で計算する光学ニューラルネットワーク層のように最適化した
- metasurface物理シミュレータと後処理アルゴリズムは1つのパイプラインに統合されている
- このパイプラインは実際のmeta-opticカメラ製作に用いられる
- 撮影画像を高品質なフルカラー画像へ再構成する
- 広帯域応用でレンズを適切に動作させるには、計算処理と結合したアプローチが必要である
医療・民生機器・ドローン応用
- 最も直接的な応用分野は医療画像である
- カメラは小さいほど侵襲性が低くなる
- meta-opticsカメラを用いた超小型内視鏡は、新たな非侵襲診断や手術を可能にし得る
- 現在の技術ではアクセスしにくい身体部位を撮影できる可能性もある
- 民生ハードウェアでも、カメラとレンズを現在の機器より一桁小さく設計できる可能性がある
- スマートフォンの画面や背面そのものがカメラになり得る
- メガネのようなウェアラブル表面に高品質カメラを組み込める
- VRヘッドセットはより軽く、より滑らかな形状にできる
- ドローンも、より小型のカメラの影響を受ける可能性がある
- 偵察のような軍事用途でも、配送のような民生用途でもカメラが必要である
- はるかに小さいカメラは、より軽いドローンとより低いバッテリー消費につながる可能性がある
表面全体をカメラにする可能性
- 研究チームの小型カメラは、大型カメラを塩粒サイズカメラの平面アレイとして再考する発想につながる
- こうしたアレイは、表面そのものをカメラに変える方式へ発展し得る
- より大きなmetasurfaceは、望遠鏡に必要なレンズを置き換える可能性がある
- 望遠鏡の製作が容易になる可能性がある
- より強力なレンズを宇宙へ送ることも容易になる可能性がある
製造方式と材料
- metasurfaceは、コンピューターチップ生産に使われる成熟した技術と同じ方法で作ることができる
- 今日のコンピューターチップはウェハー上で生産され、1枚のウェハーには同一チップのコピーが数百個含まれる
- metasurfaceも同じ方法で生産されるため、個々のmetasurfaceあたりのコストを大幅に下げられる可能性がある
- 研究チームは、搭載表面にsilica wafer、nano-antennaにはsilicon nitrideを使用した
- どちらの材料も、現在のコンピューターチップ生産に使われる半導体製造技術と互換性がある
さらに読む
- Researchers shrink camera to the size of a salt grain: Princeton Universityによる2021年の研究紹介
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: The Independentの関連記事
- Neural nano-optics for high-quality thin lens imaging: Nature Communications掲載の関連論文
1件のコメント
Hacker Newsのコメント
「一般的なカメラと同等の品質のフルカラー画像を作る」という文言については、記事にナノカメラで撮影した例がなかったのでかなり懐疑的だったが、元論文にはかなり印象的な例がある
https://www.nature.com/articles/s41467-021-26443-0/figures/2
解像感と色が明らかに不足しているように見える
単にニューラルネットワークで画像を復元しているだけなら、Samsungが白い円盤を検出したときに月の写真を貼り付けていたような話に近く、あまり印象的ではない
数年前、ある未来学者のインタビューでこんな話を聞いた。いつか子どもたちが玩具店でステッカーを1枚買うが、それぞれのステッカーは実はIPv6アドレス付きのカメラだという内容だった
どこかにステッカーを貼り、ブラウザでそのアドレスを開くとリアルタイムのカメラ映像を見られるというもの
こうした技術を構成する要素はすでに存在するが、まだ大量市場に出回るほど安くなっていないだけで、規模の経済が働けば、社会は物理的プライバシーの意味を大きく見直さざるを得なくなる、という話だった
「ステッカー」の意味を大きく変えるなら可能かもしれない
Vernor Vingeにもう一つ加えるべきかもしれない
この技術は、A Deepness in the Sky の遍在的監視を直接可能にしうるように見えるので、注意深く見る必要がある
記憶が正しければ種子くらいの大きさだった
https://en.wikipedia.org/wiki/The_Peace_War
ほかの話題が注目と投資資金を奪ったせいかもしれないが、いまや十分に興味深い水準に達して、多くの研究開発チームが政府の秘密保持契約の下に入った可能性もありそうだ
ついでに言うと、名前は「Vernor」が正しい
カメラはいつも砂粒よりずっと大きく描かれていた
そこではorphidnet のユーティリティフォグが遍在的な知覚と可視化を可能にする
ここでは皆プライバシーと監視を考えているが、私はこの技術がナノカメラをレーザーで相対論的速度まで加速し、ほかの太陽系を近くから撮影できるようにするのかが気になる
Proxima Centauriまで行かなくても、私たちの太陽系内にもっと多くのカメラがあるとよい
https://en.wikipedia.org/wiki/Breakthrough_Starshot
サイズが非常に小さく視野が広いなら、アレイの上に通常のレンズを載せて、スマートフォンのカメラに160×160度級の超広角を作れるかもしれない
非常に小さな360×180度のスタンドアロンカメラも可能で、ARグラスにカメラをいくつか入れれば、360×160度の範囲で周囲の状況をかなりよく把握できる
もう一つの応用は小型のライトフィールドカメラかもしれない
この技術がそのまま適用できるのか、あるいは改変が必要なのかはよく分からないが、小型で安価なライトフィールドカメラが登場すれば、撮影後のフォーカス調整や、ステレオより優れた3D検知・シーン再構成に役立つだろう
「カメラから高品質な画像を作るために独自のAIベース画像後処理を実装する」という説明を見ると、直感的な意味で一般的なカメラと比較可能だとは言いにくい
アップスケーリング、ノイズ除去、デブラー、色調整、シャドウとハイライトの補正まで、処理パイプラインを通った後にはセンサーが見たまま残っている部分はほとんどない
スマホカメラがプロ用カメラよりはるかに極端にやっているだけで、すべてそうした処理をしている
新しい話ではなさそうだ
2021年に公開された論文で、ここにも投稿されていた
https://news.ycombinator.com/item?id=29399828
本当なら、スマートフォンに10,000個のカメラアレイ（100×100）を入れて、計算写真学で面白いことができるかもしれない
10,000個のセンサーに単純適用すると約10分かかるが、最適化と並列化の余地は明らかにあるはずだ
センサーは720×720pxの画像を作るため、100×100アレイなら72,000×72,000px、つまり約5ギガピクセルの画像になる
スマートフォンが処理して保存するには途方もないピクセル数だ
だからプロはいまだにスマホではなく大型のフルフレームカメラを持ち歩いている
スポーツ撮影のような速度の問題もあるが、単純化して言えば速度も処理すべきデータ量と解像度の影響を受ける
高解像度センサーはファイルが大きくなりすぎる問題があり、小さな高品質写真より処理速度が遅く、保存容量もはるかに多く消費する
動画ではさらに深刻になる
Appleが長い間メインカメラを12メガピクセルに保っていた理由も、それである可能性が高い
格好よく見える光学装置の説明はあるが、画像を実際にどう記録するのかはあまり書かれていない
そこに「ニューラルネットワーク」の部分まである
生成AIが統計的に最もそれらしいピクセルに基づいてぼやけた部分を埋め、「向上」させているのか気になる
記事はかなりひどい
標準的な計算モデルでもできるだろうが、計算量は非常に大きそうだ
だからJPEGが画像を非可逆形式で保存するのに似た意味での「向上」なのかもしれない
(2021) 実際の原文はこちら: https://light.princeton.edu/publication/neural-nano-optics/