Daft Punkの例で見る聴覚錯覚
(ugu.rs)- Daft Punkの楽曲を例に心理音響学の主要な現象を見ていき、私たちが聞く音が物理信号だけで決まるわけではないことを示している
- 聴覚体験は耳の構造と脳の処理過程を経て形成されるが、わずかな時間差やノイズのような条件で心理的な錯覚が容易に介入する
- 連続性効果と音素修復効果は、途切れた音を脳がつながっているように補正する現象で、「Harder, Better, Faster, Stronger」のカット処理と結びつく
- Deutschのオクターブ錯覚は、1オクターブ差のある2音を左右の耳に交互に聞かせると、利き手の傾向によって音の位置が異なって知覚されうる現象
- 「Robot Rock」のギターコードのように、楽器も話し声のように聞こえることがあり、音楽鑑賞は物理的な聴覚を超えて感情と知覚がともに働く体験である
心理音響学が扱う聴覚知覚
- 心理音響学は音の知覚と聴覚学を含み、聴覚的出来事に対する人間の心理的反応を扱う分野である
- 音響学、心理学、サウンド・電子工学、物理学、生物学が複雑に絡み合っており、単純な音波分析だけでは説明しにくい
- 人間の聴覚システムは耳介から始まり、外耳道、鼓膜、耳小骨、蝸牛、lateral superior olive、medial superior olivaryを経て、脳が空気の振動を解釈する過程へと続く
- 聴覚体験はミリ秒単位の処理時間の中で形成され、この過程で心理的に誘導された錯覚が生じうる
- 聴覚は文化的な影響も受けるため、異なる文化圏では同じ音を違って聞くことがある
Daft Punkの楽曲で聞ける錯覚
-
連続性効果と音素修復効果
- 連続性効果とは、音が短い間隔のあいだ十分に大きなノイズで覆われると、実際には途切れていてもそのまま続いているように聞こえる現象である
- 音に200ms未満の隙間を作り、その隙間を特定のノイズで埋めると、脳は断絶を隠して連続した音信号として受け取りやすい
- 音素修復効果は、欠けた音情報を脳が補完し、情報が不足した状況でも話し声や音響をより明瞭に聞けるように働く
- Daft Punkの「Harder, Better, Faster, Stronger」では2:20付近からさまざまなカットが聞け、2:50付近でとりわけ目立つ
-
Deutschのオクターブ錯覚
- オクターブ錯覚は、Diana Deutschが1973年に初めて発見した心理音響の錯覚である
- 高い音と低い音が左右の耳に交互に再生され、2音の間に1オクターブの差があるとき、切り替えが十分に短ければ、高い音は片方の耳から、低い音はもう片方の耳から聞こえることがある
- 利き手の傾向も知覚に影響し、右利きは高い音を右耳で聞く傾向がある
- 左利きまたは両利きは、同じ条件でも異なって聞こえることがある
- Daft Punkの「Aerodynamic」では2:28あたりからこの例を聞くことができる
-
話すピアノと楽器の話し声
- Talking Pianoは、ピアノやほかの楽器が話しているように聞こえる効果である
- 人の話し声を基本周波数に変換したうえでピアノ音として演奏すると、話し声の細かな構造を楽器の音として再構成できる
- 関連する例はこちらで見られる
- 名前はTalking Pianoだが、ほかの楽器でも似た効果を出せる
- Daft Punkの「Robot Rock」では、ギターコードが「Robot Rock」の歌詞を歌うように話しているように聞こえる
音楽鑑賞が投げかける問い
- 聴覚錯覚はこの3つよりはるかに多く、40種類以上あるかもしれない
- Daft Punkはこうした錯覚を含む楽曲を作った可能性があり、聴覚は単なる物理現象ではなく心理的現象でもある
- 「Instant Crush」「Veridis Quo」「Something About Us」のように感情を強く揺さぶる楽曲は、音楽と感情のつながりまで考えさせる
1件のコメント
Hacker Newsの意見
ランダムに少し脱線する話だけど、ここ数年、曲・映画・テレビで環境音（声、ノイズなど）が音楽に変わったり、その逆に切り替わったりするオーディオクリップを集めている
Webで見つけた最も近い用語は「diegetic switch」だったが、ぴったりではない
例としては、https://youtu.be/9j9bVl3rfNk?t=29 の The Defenders で反復するピアノ音が背景音楽に移っていく場面、https://youtu.be/isZyX1xd1VQ?t=159 の The Great American Nightmare - Rob Zombie、https://youtu.be/pU_mZ1X69Ho?t=364 の Out of Control - Miraculix、それから Justice League の映画で「Everybody Knows」が救急車のサイレンに切り替わる場面があるが、動画は見つけられなかった
ミュージカルにはバリエーションが多いだろうけど、ほとんどは普通のものだと思う
フランスの作曲家で、環境音の輪郭を中心に曲全体を構成する
Big Sun アルバムから聴いて、「Birds, Pt. 1」を聴けばすぐにピンと来るはず
さらにテレビの場面に合わせて作曲する「ultrascores」もやっていて、The Wire 向けに作った例は https://m.youtube.com/watch?v=bV1lY1UsEng&pp=ygUQQ2hhc3NvbCB... にある
ノイズが止まった後に楽器が追加されるが、海のしぶき・鳥の声・重なるシロフォン／メロディラインを一度に再生できなかったかもしれないSNESの8つのオーディオチャンネル制約の中に、うまく収めたように見える
Aerodynamic の2:28あたりで、どの音を指しているのかよく分からない
その区間には重なっている高音／低音のペアがいくつかあり、どちらがオクターブなのか、その周波数なのかがはっきりしない
一つは高音が左側により多くあるように聞こえるが、ヘッドホンの左スピーカーをはっきり追従しているし、ほかのものはかなり強い右利きなのにあちこち揺れて聞こえる
https://en.wikipedia.org/wiki/Octave_illusion を読んで聴いてみても、記事やWikipediaが何を説明しているのか完全に混乱する
人々は左耳に高音、右耳には何もなし、次に低音……というふうに聞いているのか、それとも別なのか分からない
私にはだいたい左／中央／右に高音・低音・低音、次に低音・低音・高音が繰り返されるように聞こえ、反対側で高音が聞こえるときも低音は一緒に聞こえる
基本的に中央の低音がずっと下に敷かれている感じで、高音は左右の間をはっきり移動する
この1年以内に聴力検査を受けて、ほぼ完全にバランスが取れていたので、片側の音痴的な問題が受信の不均衡を生んでいるようには思えない
この錯覚は単に聴力損傷のせいという可能性もあるのではないかと思うし、右利き／左利きの違いは、片方の耳がよりうるさい環境や保護不足にさらされる度合いと相関しているのかもしれない
左利きは右利き専用の道具のせいで両側をより均等に使うことを強いられるので、偏りが弱いことも説明できる
それでも音高は上下に動いてはいるので、あまり良い例ではない
短い記事の中で著者はいくつかを混同しているようで、「talking piano」効果も単なる標準的なボコーディングなので、この分野はかなり新しく、専門家というほどではなさそうだ
本物の talking piano は https://youtu.be/muCPjK4nGY4 だ
この錯覚については https://www.youtube.com/watch?v=IMMsK9rjBWo の方が良い動画だ
脳が高い倍音から低い音を合成する効果を聞いたことがあるので、それで低音が両耳に同時に聞こえるのかもしれないと思う
一つずつ左右に移動するパンニングではなく、一緒に、あるいは別の技法と混ざる場合は数ミリ秒以内の間隔で聞こえるものだ
これを理解すると左右を反転する概念もより筋が通り、そこから高音／低音と左／右を創造的に混ぜ合わせる形へ拡張できる
オクターブ錯聴については、この動画のほうがよいデモになっている
記事が何を言っているのかまったくピンと来なかったが、これを聴いて理解できた: https://www.youtube.com/watch?v=IMMsK9rjBWo
ただし自分には、低い音は頭の真ん中で聞こえ、高い音が左右に飛び回るように聞こえた。記事で言う「片方に低音、もう片方に高音」ではなかった
同じ曲を聴いても、まったく違って聞こえ得るという点はかなり興味深い
ミキシングエンジニアがよく使うのに記事で抜けているものとして、ハース効果がある
左右チャンネルの間にごく短い遅延を入れて、単一の音源にステレオ感を与える手法だ
Daft Punkは本当に好きで、この曲たちも数え切れないほど聴いてきたが、この説明には納得しにくい
talking piano効果は知っているが、Wikiページ[0]でさえこれをボコーダーだとしており、それはまったく別物だ
別のコメント[1]と同じく、自分にもオクターブ効果で説明されているパターンは聞こえない
[0] https://en.m.wikipedia.org/wiki/Robot_Rock_(song)https://en....
[1] https://news.ycombinator.com/item?id=37104083
実際、ロボット声の大半はそうでもある
[1] https://open.spotify.com/episode/52t5WCspFuFkow374P88wAで、第1話と第3話も該当する
シンセサイザーの前で何千時間も過ごしたり、電子音楽やビートを作ったりする人たちは、似たような錯覚をたくさん見つけてきたはずだが、あえて「興味深いもの」とは考えない気がする
「ああ、こうすると少しああいうふうに聞こえるよね」くらいに受け止める感じで、おそらくテクニック一覧が丸ごと存在するだろう
自分にとって一番よくあるのは、シンセサイザーでパッチを作っているとき、偶然フォルマントに合う周波数をつかむ場合で、記事で言うRobot Rock効果に似ている
昨日はバスドラムのビートを作業していて、その上にシンセサイザーを追加したところ、バスドラムにエコーが聞こえ始めた
最初はシンセサイザーを設定する際にリバーブかエコー効果を誤ってオンにしたのかと思ったが、確認してみるとそうではなく、トラックを分離してもバスドラムは意図どおりだった
結局、シンセサイザーとドラムの間の奇妙な錯覚がエコーのように聞こえさせたのだと見なした。実際には存在しないと分かっていても、一度聞こえると消せない
この場合は戻ってドラムにエコーを少し足し、その効果を意図的に作ったところ結果はよかったが、錯覚を現実のものにしようとしても同じ効果にならないこともある
純粋なノコギリ波の音を数秒間大きめに鳴らし（ヘッドホン使用）、キーボードのキーを叩いたり、指を鳴らしたり、速い過渡音を含む音を出したりすると、もはやブツッと切れる音ではなく、「ヒュッ」と通り過ぎるようになる
説明しにくいが、一種のフランジャー効果のような感じがある
この現象にも科学的な名前があるのだろうが、自分は知らない
音楽制作は結局のところ空間を作る作業であり、プロデューサーが行う多くの作業は、音が特定の位置から出ているように、あるいは「大きな」音源から鳴っているように感じさせる錯覚を作ることだ
よくある手法として、シンセサイザーを片側にパンしたあと、反対側に数ミリ秒のごく短い遅延をかけると、遠くで非常に大きな音が鳴っているように聞こえる
また、互いに少しずつデチューンした複数のオシレーターを重ねると、ひとつの音源ではなく複数の音源が一緒に演奏しているように聞こえ、音が「大きく」なる
リバーブだけでも、大きく反響する空間にいるような錯覚を生み出している
ただし、ほとんどのプロデューサーはこれを錯覚の生成というより、「かっこいい」音作りだと考えるだろう
誰か筆者に、YouTubeのURLに希望する秒数を入れて
&t=0sを付ければ特定の時点から動画を開始できる、とツイートしてあげてほしいブログの連絡手段が「Contact Follow me at Twitter: @ugu_rs」だけの人に連絡するために、新しいTwitterアカウントを作りたくはない
1m2s形式も使えるRobot Rockの例で著者は、実際の
rock. robot rockという声の部分ではなく、そう聞こえるギターコードの部分を指しているのだと明確にすべきだったリンク先の動画で1:50あたりに飛ぶとロボット声を聴ける。その後、2:00以降のギターコードだけを聴くと、
rock. robot rock.と言っているロボット声にどれほど似ているか分かるレゾナントフィルターも通っているように聞こえる。おそらくMS-20で、普通のギターよりフォルマントがしゃべっているように聞こえる助けになっているのだと思う
声がギター音から出ていることも明らかではなく、実際にはエフェクトをかけた普通の声のように聞こえる
Mark Roberのtalking pianoとは逆だ
その部分は少し曖昧に見えるので更新する
https://youtu.be/1oD2DWf4CjQ
Com Truise - Fairlight
これは錯覚というより、興味深い効果と呼びたい
良いヘッドホンを使ってイントロをほどよく大きな音量で聴くと、あるブーンという音が頭の中、あるいは喉の奥で鳴っているかのように共鳴する感覚がある
Brainstorm/Green-Needle の聴覚錯覚のほうがより目立つ: https://www.youtube.com/watch?v=g88BXUhR2a4
最初にどちらが聞こえたのかははっきり覚えていないが、おそらくより高い音の「green needle」だけが聞こえていて、それを遮断して低い音に集中し、話し声のようなものを把握するにはかなり集中する必要があった
記憶が正しければ、低い音をうまく聞き取れなかったのは少し皮肉だ。というのも、私はベースを弾いていて、好きなベースパートを婚約者によく指摘しようとするからだ
ただし婚約者は音楽の訓練を受けたことがなく、ギターやキーボードのトラックが多く、バスドラムも強い曲では、どの部分がベースなのかを私ほどはっきり区別できないことがある