EEGで確認された、脳による2つの音声ストリームの同時符号化

• 正常聴力の成人24人のEEGを分析した結果、注意を切り替える際に新しい話者への神経追跡が、従来の話者から離脱する前に始まり、2つの音声が一時的に同時に表象されることが分かった
• 2人の話者の音声エンベロープと単語開始・予測情報を時間応答関数（TRF）でモデル化し、1秒のデコーディング窓でも、注意を向けている話者を偶然水準より有意に正確に判別した
• 新しい話者への関与は、従来の話者からの離脱より有意に早く始まり、早く終わった。この関与・離脱の非対称性は、1・2・4・8・16秒のスライディング窓でも維持された
• 注意切り替え後、EEGのアルファ帯域パワーが低下し、その最低点は音声符号化の切り替え点より遅れて現れ、新しい話者の追跡と聴取努力の時間的関連を示した
• Mistral-7B-v0.1で4種類の語彙文脈戦略を比較した結果、以前の文脈を捨てるResetモデルのエントロピーがEEGを最もよく予測した。ただし、人間も文脈をリセットしていると断定することはできない

---

研究課題と実験設計

• 複数人が話す環境では、ある話者への注意を維持しながら別の話者へ素早く切り替える必要があるが、従来の神経生理学研究の多くは持続的注意に焦点を当ててきた
• 注意切り替えを、従来の話者に対する神経追跡が弱まる**離脱（disengagement）と、新しい話者への追跡が強まる関与（engagement）**に分け、2つの過程の時間的関係を調べた
• 18〜39歳の正常聴力を持つ英語ネイティブ話者24人が参加し、神経疾患・精神疾患の既往はなく、視力は正常または矯正済みだった
• 半径1.5mの円形配置にスピーカー6台を設置した
  • 前方左右±30°から、異なるTED Talkの音声をそれぞれ60dB SPLで再生した
  • 後方スピーカー4台からは、それぞれ4人分を合成した16話者のバブル雑音を54dB SPLで再生し、前景に対する背景SNRを3dBに設定した
• 参加者は180秒の試行を20回行い、画面上の矢印に従って、各試行で左右の話者間を6回切り替えた
  • 持続的注意区間は半ランダムな間隔で構成された
  • 前景刺激には男性20人、女性20人によるTED Talk 40本を使用した
  • 各試行後、内容確認、好みの話者、切り替え難易度に回答した

行動結果と注意デコーディング

• 技術的問題により1人分の行動データが欠落し、23人を対象に計算した内容質問の平均正答率は**86.3%**だった
• 左側音声の選好率は平均49.79%で均衡しており、切り替え難易度は1〜5点中平均3.1点だった
• 64チャネルEEGを512Hzで記録し、前処理後に64Hzへダウンサンプリングした。音声とEEGの遅延を伴う線形関係を**時間応答関数（TRF）**でモデル化した
• 逆方向TRFによりEEGから注意対象の音声エンベロープを復元し、左右の音声との相関を比較した
  • 1・2・4・8・16・32秒のデコーディング窓を使用した
  • 窓が長いほど分類性能は高くなったが、1秒窓を含むすべての条件で、ラベルを100回ランダム化した偶然分布の95パーセンタイルを有意に上回った
• 動的な切り替え状況でも、EEGによる音声エンベロープ復元で注意対象の話者を安定して追跡できた

新しい話者への関与は従来の話者からの離脱より速い

• 順方向の多変量TRFには、音声エンベロープ、単語開始、単語サプライザルを含め、実際のEEGと予測EEGの相関をスライディング窓で計算した
• 切り替え前は従来の話者の音声がより強く追跡され、切り替え後は新しい話者の追跡が強まり、視覚的な注意指示と一致した
• 切り替え前後に50%を超える信頼できる注意バイアスを示した21人を時間解析に使用した
  • 除外された参加者については、離脱と関与の開始点・終了点を推定できなかった
  • 除外された3人を含めた追加解析でも、関与がより早いという定性的パターンは維持されたが、統計的有意性は消えた
• 参加者ごとのEEG予測相関に区分線形回帰を適用し、離脱と関与の開始点・終了点を推定した
  • 4秒窓では、新しい話者への関与は従来の話者からの離脱より有意に早く始まった
  • 関与の終了も、離脱の終了より有意に早かった
• 1・2・4・8・16秒窓を合わせて分析しても、関与・離脱の非対称性は維持された
  • 窓が長いほど、推定された切り替え時間は長くなった
  • スライディング窓による時間的平滑化は切り替えを長く見せる可能性があるが、2つの過程の非対称性そのものを生み出すわけではない
• 新しい話者の追跡が、従来の話者の追跡低下より先に現れる短い区間では、2つの音声ストリームが神経的に同時に表象される

アルファ帯域と聴取努力

• 注意切り替え周辺の8〜12Hzの**アルファ帯域事象関連スペクトル変動（ERSP）**を、聴取努力の指標として使用した
• 切り替え中、アルファパワーは後頭・頭頂領域で有意に低下し、切り替え信号の約4.5秒後に大きな低下が測定された
• 4秒窓では、アルファERSPの最低点は、2人の話者に対するEEG予測相関が交差する符号化切り替え点より有意に遅かった
  • 複数の窓長でも同じ順序が維持された
  • アルファの最低点は、新しい話者への関与が完了する時点とおおむね対応し、従来の話者からの離脱完了よりは前だった
• この時間関係は、アルファパワーが新しい話者へ再び焦点を合わせる努力、新たな妨害話者の能動的抑制、またはその両方と関係している可能性を残している
• 新しいストリームの音響・言語文脈が十分に蓄積されると追跡が容易になり、認知資源が解放される可能性があるが、切り替え難易度に応じた追加検証が必要である

4種類の語彙文脈モデル

• 注意対象が変わると語彙予測に使う意味文脈も変わるため、Mistral-7B-v0.1で単語サプライザルとエントロピーを計算した
  • サプライザルは、先行文脈から見て現在の単語がどれほど予想外かを示す
  • エントロピーは、次の単語予測の不確実性を示す
• 4種類の文脈蓄積戦略を比較した
  • Oracle: 現在の話者の過去発話を、注意を向けていたかどうかに関係なくすべて使用し、切り替えを認識しない
  • Speaker-Specific: 同じ話者の過去の注意区間のみを使用する
  • Attention: 話者に関係なく、以前に注意を向けたすべての区間を使用する
  • Reset: 切り替え前の文脈をすべて捨て、現在の注意区間だけで新しい文脈を蓄積する
• 切り替え直後、Resetモデルのエントロピーが最も大きく跳ね上がり、その後単語が続くにつれて低下した
  • AttentionとSpeaker-Specificは互いに似ており、より安定していた
  • 切り替えを認識しないOracleは、切り替え前後の変化がほとんどなかった
  • 全体平均では、ResetのエントロピーはOracleより高く、AttentionおよびSpeaker-Specificより低い中間水準だった

ResetモデルのEEG予測結果

• 音響特徴のみを使った基準TRFと比較すると、エントロピーを追加したSpeaker-Specific・Attention・Resetモデルは有意な予測向上を示したが、Oracleは向上しなかった
• サプライザルを使用した場合にも、Oracleを除く3モデルで意味情報の符号化が確認された
• 予想に反して、エントロピーに基づくResetモデルは、Oracle、Speaker-Specific、AttentionよりもEEG予測相関が有意に高かった
  • 350〜550msのTRF-N400振幅は、Resetで他の3モデルより低かった
• サプライザルに基づく分析では、ResetはOracleより高かったが、その他のモデル間比較は有意ではなく、TRF-N400振幅にも有意差はなかった
• エントロピーはこれから来る単語の不確実性を反映する一方、サプライザルはすでに出現した単語への反応であるという違いが、結果に影響した可能性がある
  • 参加者は切り替え信号を受けて別の音声が来ることを予期していたが、LLMは信号を受け取っていないため、人間とモデルのサプライザルが一致しない可能性がある
  • Mistralは次単語予測に最適化されているだけで、神経生理学的妥当性を目的としていない
• 結果は、切り替え時に人間が語彙文脈をリセットする可能性と整合するが、人間とLLMが音声の不連続性をまったく異なる方法で処理していた可能性も残る

限界と活用可能性

• スライディング窓で計算した関与・離脱時間は窓長に依存するため、絶対的な神経処理時間ではなく、過程間の相対的な時間として解釈すべきである
• 指示された切り替え課題は実際の会話より自然さに欠け、妨害音声を監視するよう促すため、持続的注意課題とは異なる戦略を生む可能性がある
• 非対称性は、認知負荷、年齢、認知能力、聴力問題、音声内容への関心、切り替え頻度、課題特性によって変わり得る
• 以前の文脈を完全に捨てる代わりに、物語の要旨のように抽象的に要約して保持している可能性もある
  • 文予測に最適化されたLarge Concept Modelや、短いトークン文脈と過去の要約を組み合わせるモデルを比較できる
• 音声別の符号化変化を分離する方法は、単純な注意分類より精密であり、認知制御型補聴器の研究や、年齢・聴力集団の比較に活用できる
• 前処理済みEEG、解析ファイル、コード、音声刺激はZenodoで公開されている

[GN⁺]

Hacker News のコメント

• Richard Feynman が頭の中で60秒を数えながら、同時に何ができるかを試した話を思い出す。Feynman は数えながら読むことはできたが話すことはできず、John Tukey は逆に話すことはできたが読むことはできなかった。
  Tukey は数字を数えながらテープを視覚化しており、Feynman は内心で発話していたためだった。同じ数を数えることでも、人によって頭の中のプロセスは異なり、数えている間に何ができて何ができないかを観察すれば、それを客観的に検証できるという結論だった。
  Feynman は、方程式の文字を色として見る自分と学生たちが、Bessel 関数をまったく違う形で認識している可能性も考えていた。
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • 娘を寝かしつけるとき、抱っこして歌いながら300歩を数えていたが、内的独白の代わりに数字を視覚化すると、歌と数を数えることを同時にできた。ただし、より集中力が必要だったし、今では一人で眠る娘を見ると、時々あの頃が懐かしくなる。
  • 文字を読んでさえいなければ、あまり集中しなくてもオーディオブックの内容についていける。読むときに黙読時の内的発音をするので、オーディオブックと読書を同時にできないようだし、速読よりも単語一つひとつを味わいながら読むほうが好きだ。
  • 左右の大脳半球が異なる認知機能と反対側の身体運動を担い、脳梁を通じて通信している点と関係がありそうだ。脳梁を切断された分離脳患者では、二つの半球が独立して行動することもあり、Michael Gazzaniga と Roger Sperry の実験でそれが見られる。
    Feynman の実験は、それぞれが発達させた内部処理の方式を外部から検証できることを示しており、数学記号に色を感じたのも、右脳が左脳の論理問題に固有の識別子を付けた結果かもしれないと思う。
  • 音楽を聴くと仕事や読書に集中できないのも同じ理由なのか、それとも音楽が注意を全部持っていくからなのか気になる。
  • 子どもに子守歌を歌いながら読むのはとても簡単なのに、頭の中で数を数えながら話そうとすると、壁にぶつかったように不可能だった。

• 絵本を声に出して読みながら、まったく別の考えを続けられる。ただし、別の考えの中の単語に置き換えて読んでしまうなど、誤りが朗読に漏れ出すことがある。

  • 物理学者の父が本を読みながら眠り始めると、童話が突然意味不明になり、難しい物理学用語でいっぱいになるので、すぐに気づけた。
  • 毎晩子どもに本を読みながら15分ほど別の問題を考えられるが、その状態では筋書きについていけない。子どもに「パパ、どうして自転車を盗んだの？」と聞かれた瞬間、すべての偽装が崩れる。
  • 子どもたちに Enid Blyton の本をはじめ何十冊も読んでやりながら、仕事や家事などを同時に考えられる。数分間読んだ内容をまったく追えておらず、読み直さなければならないことがある。音韻ループである目と口の経路が、記憶・処理・実行認知の経路とは独立して動いているようだ。
  • 学校で教科書を順番に読まされたときは、声と句読点に合わせたイントネーションだけに集中していた。段落を終えると内容を理解するために静かに読み直す必要があり、今でも複雑な文章を理解しながら朗読するには、二つの処理の流れを両方使う必要がある。
  • 別の考えにより多くの認知資源を使っていると、読むことにまったく努力していないのに声に出して読み続けていたことに気づくことがある。

• パイロットであり無線通信担当者として、常に二つの音声ストリームを同時に処理できていたので、驚くような結果ではない。

  • 管制センターと TRACON の管制官は、両耳で複数の周波数を監視しながら、パイロットが別の周波数の交信にかぶせても処理しなければならない。引き継ぎの過程では内部コミュニケーションまで必要で、交信内容も週末のバーベキュー話ではなく、METAR レベルに情報密度が高い。
  • 教師として、複数の子どもと同時に会話することがある。深い集中が必要でなければ可能だが、疲れるのでできるだけ避けている。
  • ヘッドセットで複数の音声が中央やモノラルで重なって聞こえるのか、それとも左耳と右耳に分離されるのか気になる。

• いくつかのマインドフルネス実践は、内なる声を鎮めるために注意を二つの場所に同時に置くように見える。George Gurdjieff の The Fourth Way と P. D. Ouspensky の記録では、二つの対象に集中して注意の流れを飽和させると、瞑想に似た意識の変化が起きると描写されている。
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • だからフーガを聴くのがあれほど楽しいのかもしれない。

• 大学時代、パーティーで複数の会話に同時に参加し、グループの間を行き来していた。能力が優れていたからというより、周囲の会話が全部聞こえていて、複数のグループで面白い話をしていると、どちらも逃したくなくてずっと会話の間を往復していたのだ。

• 複数の感覚の流れを処理できなければ、背景にある危険を監視したり、コンテキストスイッチしたりできないはずだ。意識的な経験と、背景で起きている処理は別物だ。

  • 複数の流れを処理することと、同時に連続的に処理することは違う。シングルコア CPU が複数のスレッドを扱うように、A と B の間を短く行き来するタイムスライシングでも前者は可能だ。
    脳が複数の流れを実際に同時に処理し続け、符号化しているという証拠は、マルチタスクの正確なメカニズムを理解させてくれるので、結果が当然に見えても研究する価値がある。
  • ここで扱っているのは一般的なマルチモーダル処理ではなく、複数の音声ストリームの処理だ。
  • 文章の意味を理解することと、信号から危険を判別することでは、処理の質的レベルも違う。

• すでによく知られた事実だと思っていた。自分の問題は、他人の話を無視できないことで、誰かと会話していても周囲の会話を一語も漏らさず聞いてしまう。

• Apollo ミッション管制チームは複数の会話の流れを同時に処理するよう訓練されていたが、それをオフにできないため、カクテルパーティーが悪夢になったことで有名だ。

  • 空港管制官や鉄道・地下鉄の似た職種も、同じ困難を抱えている可能性が高い。
  • 親戚と食事をすると、全員が同時に話し、たいてい二つの会話に参加している。大学のために家を出た妹は、この習慣を再び手放すのに数週間かかり、帰省中は食卓でまったく話さなかった。
  • この逸話の出典を確認できるリンクが気になる。

• Pythagoras の伝説的な超能力の一つは、二つの都市に同時に現れて講義したという**二所存在（bilocation）**だ。社交の場で複数の会話に同時に参加するたびに Pythagoras を思い出す。

• アニメーションと音響を初めて組み合わせたとき、振り子が端に達する正確な瞬間に「コツ」という音を再生すると、人々は音が遅れたと感じた。一つの刺激から別の刺激へ注意を切り替えるのに約1/16秒必要だからだという。
  時間知覚に関する他の観察は https://en.wikipedia.org/wiki/Time_perception で見られる。

  • 音そのものの伝達速度も遅い。
  • 実際の時計のチクタク音は、いずれにせよ振り子が端に到達する前に発生する。