What if Eye..? - もし目が…？
(eyes.mit.edu)- What if Eye...? は、ビデオゲームのような宇宙で進化を再実行し、生物学的な視覚知能の原理と新しい形の人工知能を計算的に探究するプロジェクト
- エージェントは 1つの光感知細胞 と小さな脳から出発し、実際の物理・身体制約・生存圧力の中で視覚知能を進化させる
- ナビゲーションや検出のように目標を変えることで、どのような 目の構造と行動 が自然に現れるかを比較できる
- 脳と目の大きさを同時に拡張すると べき乗則スケーリング が見られるが、視力がボトルネックになると脳だけを大きくしても行動の改善は止まる
- 光学遺伝子を有効化するとレンズ型光学が繰り返し現れ、光の収集と空間精度の間にある 根本的なトレードオフ を解決する形で機能する
視覚進化を再実行する実験環境
- What if Eye...? は、「進化は一度しか起きていない」という前提から出発し、ビデオゲームのような宇宙で視覚進化を計算的に再現する
- 目標は、固定データセットや人間のバイアスで設計された視覚知能ではなく、環境の中で感知ハードウェアと知覚・推論・行動ソフトウェアが 創発 するようにすること
- エージェントは 1つの光感知細胞 と小さな脳だけを持って始まる
- 実際の物理条件に直面する
- 身体を持つことによる制約を受ける
- 生存圧力の中で視覚知能を進化させる
- 各実験は1つの仮説のように構成される
- What-if の問いや反事実的条件を設定する
- ビデオゲームのような物理エンジンの中で身体を持つエージェントを進化させる
- どのような目と行動が現れるかを観察する
目と脳がともに進化する条件
- 視覚の目標が異なる場合、エージェントは2つの課題だけがある世界で進化する
- NAVIGATION: 障害物である迷路の壁を避けながら、できるだけ速く左へ移動することが目標
- DETECTION: 餌を検出し、毒を避けることが目標
- 脳が進化の全期間を通じて小さいままに保たれる条件では、目と脳の大きさを同時に体系的に拡張すると、神経容量と課題性能の間に べき乗則スケーリング が現れる
- この関係は視覚解像度も同時に拡張される場合にのみ成り立つ
- 視覚解像度がボトルネックだと、脳だけを大きくしてもより良い行動にはつながらない
- 目が光を屈折できる条件では 光学遺伝子 を有効化する
- 光学がなければピンホール戦略で画像を鮮明にできるが、光を犠牲にするため限界に突き当たる
- 光学があれば、レンズは光の収集と空間精度の間のトレードオフを解決する形で現れる
- 統合ジェノタイプは、ハードウェアである物理的視覚センサーとソフトウェアである学習コンポーネントを同時に含む
- 形態遺伝子 は、目の位置や視野角のような空間サンプリング特性を定める
- 光学遺伝子 は、光受容体数、光学要素、瞳孔サイズのような光との相互作用を扱う
- 神経遺伝子 は、学習容量を指定する
- 3つの遺伝子クラスターを独立に変異可能な形で分けることで、現実的な進化経路を探索できる
公開資料と発表
- プロジェクトは論文、ロードマップ、発表、オープンソースツール、公開展示を提供している
- 主な出版物は次のとおり
- Computationally Recreating Vision Evolution: 実験全体の設定、結果、進化分析を収めた Science Advances の査読付き論文
- A Roadmap for Generative Design of Visual Intelligence: 視覚知能を手作業で設計するのではなく生成すべき理由、応用、アプローチを整理した MIT Press の文章
- Designing Imaging Systems with Reinforcement Learning: 環境フィードバックに基づいてイメージングシステムと課題特化型知覚モデルを共同設計する方法を提案した ICCV 論文
- Emergence of foveal image sampling from learning to attend in visual scene: 視覚シーンで注意を学習すると中心窩イメージサンプリングが現れることを示した NeurIPS 論文
- Designing neural network architectures using reinforcement learning: 視覚課題の性能向上のために強化学習でニューラルネットワークアーキテクチャを設計した ICLR 論文
- The First Signs of Vision: カンブリア紀の大爆発から現代までの動物の視覚進化のインタラクティブシミュレーションを扱った Cathy Chang の MIT 論文
- 公開発表には次の項目が含まれる
- Brian Cheung による "The Emergence of Convergence in Different Levels of Biology and AI", Symposium on the Platonic Space での発表
- Kushagra Tiwary による "Embodied Eyes For Scientific Discovery: Generation and Verification Loops to ask the "why" questions in vision", UC Berkeley's Redwood Center での発表
- Kushagra Tiwary による "What-If Machines for Vision: Evolving Eyes and Brains with AI", Imagination in Action での発表
- 人工エージェントによって視覚知能を進化させる取り組みの、より広い含意を探る Tedx 発表
- コードと展示項目も提供される
- Simulator: 進化シミュレーターを実行し、新しい課題を定義し、身体を持つエージェントを自ら進化させられるオープンソースツール
- Colab Notebook: ブラウザ上で Cambrian agents を試すためのインタラクティブノートブックで、まだ公開予定の段階
- Video Exhibition: 来場者が進化する視覚を直接体験できる公開参加型展示
- この協業は MIT GenAI Impacts of Generative AI Grant の支援を受けている
1件のコメント
Hacker Newsのコメント
高校のコンピュータサイエンスの先生が、カブトガニの目について授業で教えてくれたことがある。
カブトガニの目は視野より大きいものは見えないので、小さな生物は食べて大きな生物は無視すると説明していて、そのために Excel でニューラルネットワークのモデルを使っていた。
その先生は素晴らしい人で、コンピュータサイエンスにおける好奇心と洞察の持ち方を教えてくれたし、Donald Knuth や TeX なども教えてくれた。
人間でも、目の前に十分大きくて均一に光る物体があると、それを「見ている」と言うのが難しいのと同じようなことなのだろうか。
Dawkins もここで目の進化を簡潔に説明している: https://www.youtube.com/watch?v=2X1iwLqM2t0
この条件はとても基本的なので、0から「光に敏感な細胞のシート1枚」へ進むのはほとんど何でもないことのように見えるが、実際にはそうではない。
その前に光受容タンパク質、機能する神経系や信号処理経路、光の吸収を電気信号に変える仕組み、その信号を生物の他の部分と協調させる体系などが必要になる。
生物学というより物理学/コンピュータサイエンス寄りの質問かもしれないが、MIT が目で行った実験を生物全体について試せるほど十分に優れた物理シミュレータができるまで、あとどれくらいなのか気になる。
いつかそれが可能になって、地球の物理を入力すれば地球の生物とだいたい似た生物を出力できるなら、外惑星の物理を入れてそこにいる生命体がどんな姿かもわかるのではないかと思う。
生物全体の複雑さをモデル化するには、まだかなり先だと思う。ただ、研究上の問いに答えるのが目的なら、もっと単純なバージョンなら今でもモデル化できる。この研究チームが視覚がどう進化するかを扱ったように可能だ。
最近ではC. elegansを、すべてのニューロンと神経伝達物質まで含めて 3D でモデル化し、仮想刺激に実際の線虫のように反応した (https://www.nature.com/articles/s43588-024-00738-w)。
単一の生物体ならすでに可能だが、こうした存在が 3D の中で進化するようにするには、もう少し時間がかかりそうだ。ちなみにコンピュータサイエンス専攻ではなく、ただの愛好家だ。
どれだけ正確なモデルにしたいか次第で、夢のような水準を考えるなら、こうしたシミュレーションが意味を持つには量子コンピューティングが必要だと思う。
数学のような分野に適用される法則という考え方は、生物には当てはまらないのかもしれない。生物は目的論で説明されるからだ。心臓はたまたま血液を循環させているのではなく、体に酸素を供給するために血液を循環させるべく鼓動している。
また、寒冷な気候に住む生物がたいてい厚い毛を持つとしても、厚い毛がすなわち寒冷な気候を意味するわけではない。ある哺乳類は別の生態系では鳥が占める生態的地位を埋め、別の場所では魚がその役割を果たす。ニュージーランドでは、他の生態系なら哺乳類が埋める地位を鳥が埋めることもある。
生物学が純粋に帰納的な科学になりうるのか、私にはよくわからない。
関連する YouTube 動画もかなり面白い部類だ: https://www.google.com/search?q=simulating+evolution+muscles
たいていは 2D だったり、大幅な単純化が入っていたりする。「本物の」生物を進化させようとすると、「脳」を無視したとしても複雑性がきわめて急速に爆発しそうだ。
Greg Egan のPermutation City(1994) に出てくる「Autoverse」を思い出した。この記事が気に入ったなら強くおすすめする。
目の進化に関連する面白い事実として、トンボの目に見える黒い点は、追いかけてくる瞳孔でもなければ目そのものの変化でもない。
実際には、トンボの目の柱状構造を真正面から見ているのだ。光を非常に効率よく捕捉するので黒く見え、効率の面では物理的限界にかなり近い。
90年代に人工生命シミュレータを作っていた経験からすると、モデルにはシミュレーション作成者が入れるパラメータに依存する部分が多すぎる。
光に敏感な細胞から始めて、迷路をうまく通り抜けるエージェントに報酬を与える遺伝的アルゴリズムを作れば、結局は複数の光感受性細胞を目のように使うエージェントが「進化」する。
それが本当に進化や生命について教えているのか、それとも自分が設定したシミュレーションについて教えているだけなのか疑問だ。
これはシミュレーションというよりモデルに近く、特定の実在現象をできるだけ集中的かつ簡潔に説明しようとするモデルだ。
ここから得られるものは、複眼とカメラ型眼という2種類の目が、最小限の解剖学的調整要素とともに3つの特定タスクの集合としてモデル化できる、ということだ。
そうすれば、モデルから得られた明確な証拠を比較・対照し、こうした説明が進化生物学の手法から得られる、より確定度の低い説明とどう噛み合うかを見るのは実際に有益かもしれない。
良い比喩としては、ゲート、ラッチ、クロックだけで現代のスーパースカラ・マイクロアーキテクチャの「創発」を説明できるかを見るようなものだ。高周波を物理回路に流し込んだときに生じるアナログ的なカオスまでモデル化する必要はない、という意味でもある。
適切な問いは、その知識がまったく無価値なのか、それとも後で何かの役に立つのか、ということだと思う。
「最初から」という題が付いているなら、単一の光受容体ですら別の何かから進化してくる様子まで出てくるのかと思った。
向こうで直している間の暫定対応として、Web サイトをミラーしておいた: https://cambrian.pages.dev/
Web サイトが壊れているようだったので（リポジトリが削除されたのか？）、代わりにこちらへ行く必要があった: https://eyes.mit.edu/ACI/
そして、その Web サイトで扱っている論文はこちら: https://arxiv.org/pdf/2501.15001
著者です。気になることがあれば答えます。