- 蝸牛(cochlea) は空気圧の変化によって生じた振動を受け取り、周波数ごとに分離する物理的構造を通じて音を処理する
- 基底膜(basilar membrane) の各位置は特定の周波数に共鳴し、高い周波数は硬い基部、低い周波数は柔軟な端部で反応する
- この過程で 有毛細胞(hair cell) が振動に応じてイオンチャネルを開閉し、電気信号へ変換し、神経線維は時間・周波数情報をフィルタリングする
- しかしこれらのフィルタは フーリエ変換とは異なり時間分解能を維持しており、実際には ウェーブレット(wavelet) と ガボール(Gabor) の中間的な形で動作する
- このような構造は 自然音の冗長情報を減らす効率的符号化(efficient coding) 戦略であり、人間の言語は独自の時間-周波数空間を占めている
蝸牛の周波数分離構造
- 鼓膜(tympanic membrane) は空気圧の変化に応じて振動し、中耳の骨がこれを増幅して 蝸牛の液体 に伝える
- 振動は 基底膜(basilar membrane) に沿って移動し、各位置の物理的特性に応じて特定の周波数に共鳴する
- 基部は硬くて軽いため 高周波 に、端部は柔軟で重いため 低周波 に反応する
- 基底膜の共鳴周波数は 空間的に対数(logarithmic) 的な形で低下する
- これは人間の ピッチ(pitch)知覚が対数的 に変化する特性と一致する
有毛細胞の機械-電気変換
- 基底膜の上の 有毛細胞(hair cell) はその位置に対応する周波数に合わせて振動し、この動きが イオンチャネルの開閉 を引き起こす
- 有毛細胞の先端のばね構造が「trapdoor」のように働き、振動周波数に合わせて神経伝達物質を放出する
- この過程を通じて 機械的振動が電気信号へ変換され、聴神経へ伝達される
聴覚フィルタと時間-周波数分解能
- 聴神経線維は 時間と周波数の情報を抽出するフィルタ として機能する
- 短時間に集中したフィルタは 時間分解能 が高い一方で周波数分布が不均一になる
- 長時間にわたるフィルタは 周波数分解能 が高い一方で時間情報がぼやける
- フーリエ変換(Fourier transform) には時間情報がなく、右図のように 均一な周波数分布 を持つが、これは実際の耳のフィルタとは異なる
- 蝸牛のフィルタは ウェーブレットとガボールフィルタの中間形態 であり、
- 高周波領域 では時間分解能を高め
- 低周波領域 では周波数分解能を高める 相互補償構造 を持つ
効率的符号化と自然音分析
- Lewicki(2002) の研究は、このようなフィルタ構造が 自然音の冗長性を減らす戦略 であることを示している
- 独立性最大化のための ICA(Independent Component Analysis) によって環境音、動物の発声、人間の音声を比較した
- 環境音・人間の音声は ウェーブレット型フィルタ、動物の発声は フーリエ型フィルタ に近い結果となった
- 人間の言語は 固有の時間-周波数空間 を占めており、
- 一部の研究者は 言語が既存の自然音が占めていない領域を埋めるように進化した可能性 に言及している
生態学的符号化と感覚処理
- 感覚系は 環境に適した符号化方式 を形成し、聴覚もその一例として示される
- このような 生態学的に適切な表現(ecologically-relevant representation) は、行動と環境の相互作用に基づく
- 記事の最後では、今後の講義で ニューロンレベルの生物物理学的計算 へと焦点を移す予定だとしている
- 全体として、耳は フーリエ変換ではなく、効率的で適応的なフィルタリングシステム として機能する
1件のコメント
Hacker Newsのコメント
要するに、耳は フーリエ変換(Fourier Transform) を行っているわけではないが、ウェーブレット(wavelet) 変換と ガボール(Gabor) 変換のどこか中間にある、時間局在化された周波数変換を行っているということ
これは音が時間的に局在しているため
また、人間の 言語が周波数–包絡線持続時間空間の空いていた領域を占めるように進化したという理論 も紹介されている
人間の 蝸牛 が人間の音声に最適化されている可能性がある
信号処理を知っている人なら、耳が無限時間にわたるフーリエ変換をすると主張しない
耳は実質的に FFT(高速フーリエ変換) に似た処理をしており、これは周波数ごとの強度を計算すること
ウェーブレットやガボール変換は数学的には異なるが、結果としては95〜99%同じ結果になる
だから単純に説明するなら、耳は ウィンドウ化された離散フーリエ変換 を行っていると考えればよい
これは 時間-周波数の不確定性原理 で説明できる
耳のフィルタバンクを、生理学的結果に基づく任意のフィルタ集合として見ると理解しやすい
また動物の大きさも影響する — 小さな動物ほど超音波領域で音を出し、聞くことができる
たとえば、「トラが襲ってくる」という警告音と「赤ん坊をあやす音」は、互いに異なる領域に位置する
タイトルはやや クリック誘導型 で、内容も厳密には誤っている
ガボール変換やウェーブレット変換はフーリエ変換の一般化で、時間ごとのスペクトル解析を提供する
耳は実際には非常に フーリエ的(Fourier-y) なことをしている
フーリエ変換は無限・連続で、DFTは有限・離散である
人間の聴覚はその中間くらいの フーリエ級数(Fourier Series) に近いと見なせる
ウェーブレットは別のやり方で、正弦波の代わりに 変形された波形 を使う
結局のところ、耳は日常的な言い方をすれば「フーリエ的」な処理をしている
論文の要旨には「動物の発声に最適化された場合はフーリエ変換に似ており、非生物的な環境音に最適化された場合はウェーブレット変換に似ている」と明記されている
さらに深く知りたいなら、Richard Lyon の CARFACモデル(Cascade of Asymmetric Resonators with Fast-Acting Compression)を参照する価値がある
人間の聴覚を最も正確にデジタルでモデル化した研究と評価されている
彼の著書のPDFは こちらで読める
人間の音声があまり混み合っていないスペクトル領域を占めるという議論は、『The Great Animal Orchestra』 という本とも通じる
書籍リンク
さまざまな種がそれぞれ固有の 音響的ニッチ(niche) を占めるよう進化してきたことを扱っている
ただし、生息地破壊によってこの現象が弱まっている点はやや憂鬱だ
都市では交通騒音が生じる前の早い時間に、森では昆虫の騒音が減る遅い時間に鳴く
空間的多様性の代わりに 時間的多様性 へ進化することもありうる
用語上の混同はあるが、フーリエ変換は無限時間区間 を前提としている
有限時間区間では フーリエ級数 のほうがより正確な表現
実際の耳の働きは時間重み付け関数を適用する形で、フーリエ級数と変換の中間あたりに位置する
この記事はその点をうまく捉えている
人間の音声と聴覚構造が 共進化(co-evolution) した可能性もある
耳は無限時間のフーリエ変換を行わない
その代わり 離散的でウィンドウ化された変換 を行い、これは時間と周波数分解能の 不確定性原理 に似ている
長いウィンドウは周波数分解能を高めて時間分解能を下げ、短いウィンドウはその逆になる
人間の蝸牛は低周波では フォルマント(formant) を区別するために周波数分解能を高め、高周波では 破裂音(plosive) を検出するために時間分解能を高めるように働く
基底膜(basilar membrane) は驚くべき生物学的構造
コンピュータのオーディオ処理ではFFTが有用だが、人間の 時間知覚ベースの聴覚モデリング には限界がある
有毛細胞のtip linkとイオンチャネル を示す動画が興味深い
関連動画
この構造が損傷すると 耳鳴り(tinnitus) が起こる可能性がある
また耳には 能動増幅(active amplification) 機能があり、電気信号で細胞を振動させることもできる
上の動画は最後に 非常に高い音のトーン で終わるので、ヘッドホンをしているなら注意が必要
頭頂葉の聴覚連合皮質が周波数を区別するという点で、耳と脳の間には 時間-周波数変換 が存在する
これはニューロンの発火が離散的であるため、有限時間内で行われる 離散変換 である
有限信号を無限信号に拡張する単純な方法は、その信号が過去と未来に向かって無限に繰り返されると仮定することだ