標的脳領域を最大限活性化するよう進化するAI動画

• NEvo は、視覚領域の反応を予測する脳のデジタルツインを報酬モデルとして用い、特定領域の予測活性度を最大化する動画を インシリコ（in silico） 環境で進化させる
• 被写体・照明・動き・雰囲気を 遺伝子 のように表現し、候補動画の生成・評価・選択・交叉・変異を複数世代にわたって繰り返す
• 計算コストを抑えるため、まず最も強い 静止画像 を見つけたうえで動きを別途探索し、2秒動画にする2段階方式を用いる
• 合成動画は、FFAの顔、PPAの場所、MTの動きのような既知の 領域別選択性 と一致し、手作業のローカライザー動画や最上位の自然動画より高い活性度を記録した
• V1からaSTSへ続く外側視覚経路に沿って、好まれる刺激は単純なパターン・動きから人物・顔・社会的相互作用へと移行し、社会的・動的特徴 が次第に強まる

---

デジタルツインを報酬として使う動画進化

• 脳の エンコーディングモデル であるデジタルツインを学習させ、任意の動画に対する各視覚領域の反応を予測し、選択した領域の予測反応をNEvoの報酬として使用する
• 各動画は、被写体・照明・動き・雰囲気など少数の 遺伝子 で記述される
  • 候補動画のバッチを生成した後、デジタルツインでスコアを計算する
  • 高スコアの候補を保持し、交叉・変異させる
  • このプロセスを複数世代繰り返し、予測活性度を高める
• 画像と動画を同時に探索するコストを避けるため、2段階探索 を行う
  • まず最も強い単一の静止画像を見つける
  • 続いて動きを探索し、その画像を2秒動画としてアニメーション化する
• 皮質表面の標準的な関心領域（ROI）と、細かな searchlight領域 ごとに刺激を合成する
  • PPAの例はスコア0.767で、自然画像比100.0パーセンタイルに相当する
  • rh_5 searchlightの例はスコア1.124で、自然画像比100.0パーセンタイルに相当する

領域別選択性と外側視覚経路の変化

• 各領域のために合成した2秒動画は、その領域が好むことが知られている刺激と一致する
  • FFA は顔、PPA は場所、EBA は身体に反応する
  • MT は動き、V1・V3A はパターンを好む
  • pSTS・aSTS は活気のある社会的場面に反応する
• NEvo動画は領域全般にわたり、手作業のローカライザー動画や最も強い自然動画より高い活性度を誘発する
• すべての領域で、動く動画は同じ動画の 固定された最初のフレーム より高い反応を示し、動的刺激への選好が確認された
• V1からaSTS方向へsearchlightを移動すると、合成刺激と自動生成されたワードクラウドは、単純なパターン・動きから人物・顔・社会的相互作用へと変化する
  • 外側視覚経路に沿って、社会的・動的特徴 が次第に増加する勾配が現れる
• 抽象的な積層円盤から始めた実験でも、領域ごとの好まれる特徴が分離された
  • pSTS最適化は、顔のように見え相互作用するキャラクターを生み出す
  • MT最適化は純粋な動きを生成する

[GN⁺]

Hacker News の意見

• ソーシャルメディアの次の段階は、ひどいものになるに決まっている。今でも何百万本もの実際の動画の中から、ユーザーごとに最も中毒性の高い短い動画を選び出しているが、それらはユーザーを虜にする可能性空間へランダムに投げたダーツのようなもので、完璧ではない。
  これからは AI によって、視聴者の脳のあらゆるスイッチを精密に押す個人向け中毒動画を生成し、何日もゾンビのように釘付けにできる。こうした技術を配備しようなどとは考えられないほど、規制がソーシャルネットワークに強い圧力をかけることを望む。
  • ソーシャルメディアより大きな脅威は、人々が最も内密な考えまで差し出している Anthropic・OpenAI・Google だ。クラウド AI 製品が提供し得る大規模な個人向け心理操作は、まだ本格的には現れていないし、十分な時間があれば Dario Amodei や Sam Altman のような人たちがいずれ見せてくれるだろうと思う。
    GPT-4o のお世辞傾向や AI 精神病危機は予告編だったのかもしれないが、それも単なるエンゲージメント最適化にすぎなかった。
  • 地球が燃え尽きるまで最後の一銭まで搾り取ろうとして、私たちの脳や子どもたちにしていることは、私たちの中の豚にしていることと変わらない。
  • 規制に期待するのと同じくらい、人々が正気に戻って、そうしたサイトをもう開かなくなることに期待したほうがよいのかもしれない。
  • この議論で David Foster Wallace の Infinite Jest がまだ出ていないのは驚きだ。私も読み始めてから何年もたつが、まだ読み終えていない。
• 社会的・道徳的な含意とは別に、論文の実証が気になる。各視覚領域が任意の動画にどう反応するかを予測する符号化モデルであるデジタルツインを訓練したうえで、NEvo がその予測値を報酬として使い、選んだ領域を最も強く活性化する動画を自動探索する。
  しかし、生成された動画が実際の人間を MRI で測定したときに、デジタルツインと同じ脳活性パターンを生むか確認したのかは見つけられなかった。動画から脳活性を安定して予測するモデル自体が可能なのか、懐疑的だ。
  • 人間を対象に小さな検証データを集めるのは、ほとんど些細と言えるほど簡単なのに、それをしていない点が怪しい。私たちの機関ではスキャン費用は1時間あたり約 800ドルで、30分あればモデルを検証するのに十分なデータを得られる可能性が高い。
    方法論上は V-JEPA2 を fMRI データにボクセルごとのリッジ回帰で適合させているが、これは視覚反応が各ボクセルに独立して作用すると仮定している。ボクセル別モデルは統計的推論にはよいが、脳は独立した領域の集合のようには動作しないため、予測やモデリングには弱い。BOLD 信号は極めてノイズの多いデータなのに、設計は現実を反映するには単純すぎるように見える。
  • fMRI が取りこぼした信号は、画面上では似て見えてもデジタルツインには反映されないため、機械の中に実験者バイアスが入り込み、この方法に反証可能性が残っているのかも疑問だ。
    実際・想起・仮想・想像の感覚入力は、脳と感覚後処理において非常に異なる扱いを受ける。デジタルツインは一部のデータしか持っていないため、表面的なパターンだけを再現する可能性が高く、十分に反復曝露すれば、本来一緒に発火していた回路が、気づきにくい形で再配線されることもあり得る。ただし論文自体も、こうした限界を科学的な表現でほぼ認めているので興味深い。
  • A. 脳科学そのものを非道徳的な科学と見なさないのであれば、この種の研究に本質的な問題はない。神経科学者として、根拠なく道徳的堕落を示唆することには強く反対する。
    B. デジタルツインは、大規模な脳活動パターンを近似できる、発展途上の脳シミュレーション分野だが、実際の脳をそのままシミュレートする水準ではない。通常は積分発火型のような近似ニューロンモデルと、興奮・抑制集団のバランスを使い、拡散画像で被験者の白質軸索結合を推定して精度を高める。実際に、術前のてんかん発作の伝播に手術が及ぼす影響をモデル化する用途にも徐々に使われている。関連して、Theoretical Neuroscience ポッドキャストの The Virtual Brain の回がよい。
    C. 検証は部分的にしか行われていない。NEVO はデジタルツイン符号化モデルの中だけで神経反応を最適化しており、そのデジタルツインはかなりの予測妥当性を示したとされるが、前述の Virtual Brain モデルとは異なる。出力は神経生物学的にはもっともらしいが、最適化された刺激が実際の標的領域を活性化することを示す独立モデルや新規 fMRI 結果はない。既存の fMRI データで行った研究なので、完全な検証が当然の次のステップであり、今回の論文は必要な研究費の確保に役立つ可能性がある。
    D. 平均的には、特定の脳領域をベースライン以上に活性化する静的刺激は昔から作ることができた。刺激と領域の組み合わせによって個人差は異なり、紡錘状顔領域（FFA）は小さいため、単純な関心領域アプローチよりも個人別の顔刺激で見つける必要があるが、概して安定して位置を確認できる。fMRI の約 3×3×3mm ボクセルと、空間的自己相関が大きい血行動態反応、EEG の約 400mm² の受容野のように、脳活動の測定は非常に粗い。デジタルツインはこの解像度でのダイナミクスをかなりうまくモデル化しており、このレベルには情報量が多くないため、動画で自動化することも無理な飛躍ではない。
• 先週の脳読み取りスタートアップの議論と非常によく似ているので、反応する前に論文を読むべきだ。このツールは、研究者が「この領域はおそらくこういう機能だろうから X の動画を見せよう」と決めることから生じる実験者バイアスを減らし、脳の各部分の機能を明らかにしようとするものだ。
  被験者にスキャナー内で数時間にわたりさまざまな動画を見せた後、モデルがデータの独自の表現を作り、特定部位が最も強く反応する入力を探すようにする。刺激を提示し、脳反応を記録することで、人間と認知とは何かを理解してきた従来の脳研究を一般化したものと言える。
  • 研究の「目的」とは、人々がその用途にだけ使われてほしいと望むものにすぎないのではないか。実際に何に使われるかをどれほど左右できるのかは疑問だ。
  • ここで言う脳読み取りスタートアップが何なのか分かるリンクや追加情報が必要だ。
  • こうした研究は Moonbug Entertainment（Candle Media）がより優れた Distractatron を作るのにも役立つ。大画面から数メートル離れた小さなテレビに、コーヒーを注いだり髪を切ったりするような平凡な20秒の場面を繰り返し再生し、子どもが Moonbug の番組から視線をそらすたびに記録する、という方式だ。

Distractatron自体はそれほど興味深くありませんが、集中が途切れる正確な瞬間を見つけてコンテンツを改善できます。New York Timesの記事とNew Yorkerの記事に詳しく出ています

• この研究と研究者の意図がそれ自体として非道徳的でないとしても、恐ろしい結果につながる可能性があります。核技術も当初は善意から開発され、人類に多くの恩恵をもたらしましたが、結局は最も危険な行為者たちが大量の核兵器を持つことになりました
• 脳の一部を過度に使うことが危険になり得るという個人的な事例があります。認知症になった叔母の介護をしていた叔父は、生涯ずっと有能で安定しており信頼できる人でしたが、最終的に精神的に崩れ、躁状態を経験しました
  叔母がガスコンロをつけるなど危険な行動をするかもしれないため、1年以上にわたり週7日ずっと警戒し続けなければならず、脳の危険警戒システムが絶えず酷使されていました。この研究が科学的である点は認めますが、強く統制しなければ、人々の脳にRowhammerのような攻撃を試みる企業が必ず出てくるでしょう
  • 過労というよりストレスが原因だった可能性が高いです。ストレスは生物学的素因のある人の躁病エピソードを誘発することがあり、配偶者が認知症になって突然フルタイムの介護を担う負担は甚大です
    過去を振り返ると、睡眠時間の減少、軽い妄想性、断続的な過剰生産性といった軽躁エピソードがあったのかもしれません。最近のことなら、よく回復されていることを願います。最新世代の躁病予防・治療薬は昔より大きく改善されています
  • この研究は脳を理解し、てんかん手術の候補部位などをよりよくモデル化する助けにはなりますが、読心の基盤にはなりません。企業が特定の刺激で脳領域を安定して活性化しようとして私たちをMRIの中で暮らさせる段階なら、すでにもっと大きな問題が起きています
    ただし20年以内に、EEG頭皮電極を超えて、神経電極付きの埋め込みチップとネットワークAI演算を組み合わせた脳拡張は可能になるかもしれません。最初は知能増強のために脳がインターフェースを使うでしょうが、遠隔操作で制御の向きを反転させれば、懸念される脳操作が現実化する可能性があります。しかしこの研究はそのシナリオとは光年単位で離れており、あらゆる技術に反対するのでない限り、結び付けるのは難しいです
  • 叔父さんで常に活性化していたのは、過労よりも、予測不能な介護状況における闘争・逃走反応だった可能性が高いです
• 視覚的な超正常刺激を自動探索すると、悪い結果につながる可能性が高いです
  超正常刺激と小説BLITを連想します。V3Aアニメーションのひとつは、子どものころ眠りにつく直前の夜に見ていたものとぼんやり似ていますが、当時はもっと円形に近いものでした
  • SCP風に言えば**認識災害（cognitohazard）**と言えるでしょう。幻覚が生じる理由を扱う数学理論も関連しています
    知的障害者をケアする現場では、明るい光や他の刺激で落ち着かせ、統制していると聞いていますし、自閉症の人は鮮やかな色に強く刺激されると理解しています。それ以外の人たちも、こうした制御性のある刺激に脆弱ではないと断言はできません
  • Harry Potterで幸運を過度に享受するのも危険だという警告があったように、過度な肯定的視覚刺激も危険になり得るという点で似ています
• オンラインで残酷な画像を一瞬見ただけでも、一生忘れたいと思う人は多いです。この技術が生み出せる画像は本当に恐ろしいものになり得ますし、脳が耐えられないレベルは今見たものよりはるかにひどいかもしれません
  • 2032年6月9日、バイオテックスタートアップのReMindが衝撃的なデモと小規模試験の後、記録的なIPOを達成したという未来を想像できます。画面のカメラが近づいた人を識別し、過去の資料から脳に最も強烈な影響を与える画像を生成して、一度見るだけで平均83%の精度で記憶を刻み込むと宣伝するでしょう
    広告用の長期記憶を作るために「トラウマ」のような印象を与えるReMind Long-termと、期間限定プロモーションのために耳に残る歌の視覚版のように機能するReMind Short-termをリリースできるかもしれません。広告会社が数万件を発注し、スーパー・エレベーター・ガソリンスタンド・機内エンターテインメント・公共広告板に即座に配置される明るい未来です
  • ますますLangford's Basiliskに近づいています
• 私の秘密の研究アイデアの中でも、これは最も危険で道徳的に誤った部類に入ります。未来の世代が、なぜコンピュータサイエンス研究にIRB審査が義務化されたのかと尋ねるなら、こうした研究が答えになるでしょう
  自分がいつの間にかFritz Haberになりつつあることに気づかない研究者がいます
  • 技術は全体として、常に私たちの自由を減らしてきました
• 実際にSnow Crashを作ろうとしているのですか？ 関連説明
• すでにソーシャルメディアのフィードアルゴリズムがこれを大規模に行っており、生成コンテンツまで必要ありません。ユーザー生成コンテンツの海には、すでに最大活性化レベルに達した素材が十分にあります
  • 計画は、コンテンツ制作者をプロセスから外して収益分配を減らし、利益を増やすことです
  • エンゲージメントを最適化することと、特定の人の特定の脳領域の活性化を最適化することは、そもそもカテゴリからして異なる目標です
• 人の注意を引く方法を探すプロセス自体は新しくありません。1950年代のアニメも、かわいい動物、短く速い場面転換、耳に残る音楽で脳を「じっと座って見させる」ようにしていました
  広告のフォーカスグループは、顕示選好を見つけるA/Bテストへと発展し、脂肪・塩・砂糖の研究は中毒に近いファストフードを生みました。今回の技術はその次の論理的な段階にすぎません
  • 本も読者を没入させるよう設計されており、過去には今日画面に向けられるのと同じ批判が本に対してなされていました。技術よりも、人々が自ら陥る感情的パニックを理解するほうが重要だと思います