群衆の中の一人の声を聞かせるAIヘッドホン
(washington.edu)- ワシントン大学の研究チームは、装着者が話している相手を3〜5秒見つめるだけでその話者を登録し、騒がしい環境でもその声をリアルタイムで聞かせるTarget Speech Hearingシステムを開発した
- 既製のヘッドホンの左右マイクとオンボード組み込みコンピュータが連携して動作し、ユーザーがボタンを押して話者の方を向くと、機械学習ソフトウェアが音声パターンを学習する
- 登録後は、聞き手や話し手が動いてもその声を追い続け、話者が多く話すほど訓練データが増えて対象話者に集中する性能が向上する
- 21人を対象にしたテストで、参加者は登録した話者の音声明瞭度を、フィルタリングしていない音声より平均でほぼ2倍高く評価した
- 現時点では一度に1人しか登録できず、同じ方向から大きな声が混ざると登録が難しいため、イヤホン・補聴器への拡張は今後の課題として残っている
Target Speech Hearingの仕組み
- ワシントン大学のTarget Speech Hearingは、ノイズキャンセリングヘッドホンでユーザーが特定の人の声だけを選んで聞けるようにするAIシステムである
- ユーザーはマイク付きの既製ヘッドホンを装着し、話している相手の方向へ頭を向けてからボタンを押す
- 目標話者の音波がヘッドセット両側のマイクに同時に到達する必要がある
- 許容誤差は16度である
- ヘッドホンは収集した信号をオンボード組み込みコンピュータへ送り、機械学習ソフトウェアが目的の話者の音声パターンを学習する
- 登録が完了すると、システムは周囲のほかの音を減らし、登録された話者の声だけをリアルタイムで再生する
- 聞き手と話し手が動いても登録された声を追い続ける
- 話者が話し続けると訓練データが増え、目標話者によりうまく集中できる
- 研究チームは5月14日にACM CHI Conference on Human Factors in Computing Systemsで結果を発表した
- 概念実証装置のコードはLookOnceToHearで公開されている
- このシステムはまだ商用製品ではない
実験結果と現在の限界
- 21人を対象にしたテストで、参加者は登録した話者の明瞭度を、フィルタリングしていない音声より平均でほぼ2倍高く評価した
- この研究は、ユーザーが聞きたい音のカテゴリを選ぶと残りの環境音を除去する従来のsemantic hearing研究を基盤としている
- 従来のシステムは、鳥や声のような特定の音クラスを選択する方式だった
- TSHは音のカテゴリではなく、1人の登録話者に焦点を当てる
- 現在のTSHは一度に1人の話者しか登録できない
- 目標話者と同じ方向から別の大きな声が出ると、話者を登録できない
- ユーザーが音質に満足できない場合は、同じ話者に対して登録プロセスを再実行し、明瞭度を改善できる
- 研究チームは今後、システムをイヤホンと補聴器へ拡張する予定である
1件のコメント
Hacker Newsの意見
サイズが小さな耳栓くらいまで小さくなるなら、聴覚障害のない人間としても使ってみたい
少なくとも診断上は聴覚障害ではないと言われたが、検査方法がいまいちなのか、自分が正常でほかの人たちが聞こえているふりをするのがうまいだけなのか、今では分からなくなっている
友人や集まりでは、どうしても騒がしいレストランやバーに行くことになり、聞き取れなくてもう一度言ってほしいと頼んでも、同じ低い声で繰り返されてまた聞き取れないことがいつももどかしい
冗談や何気ない一言を聞き逃すのはさらに辛く、「何で笑ってるの、聞こえなかったから3回くらい言い直してくれる？」という状況になる
ところが、どの聴覚専門医に行っても聴力は正常だと言われ、最終的に大都市圏で最高だという専門医を探し、1年待ちの末に予約した
丸一日検査したあと、専門医は「良い知らせ、悪い知らせ、良くもあり悪くもある知らせ」があると言った。良い知らせは、聴力が5歳児並みに非常に良いということ。悪い知らせは、聞こえすぎて音を区別できないということだった
聴力が悪くなったのではなく、脳が音を分離する能力が落ちているのであり、良くもあり悪くもある知らせは、結局は皆と同じように聴力が衰えるので、数年間は公共の場で今より聞き取りやすくなるだろう、という話だった
この問題が悪化した理由の一つは、レストランや公共空間の設計者が音環境をもはや気にしなくなったからだと思う
ここ15年ほどに開店したバーの大半は、コンクリートの床で吸音もほとんどなく、耳が鳴るほどでなければ楽しい時間ではない、という前提で設計されているように見える
文字どおり会話を続けられないので、そういう場所にはもう行かない
機器で解決するより、問題をありのまま見て「何も聞こえなかったし、君たちもたぶんそうだろう。これは馬鹿げているから出よう」のように、昔ながらの方法で解決するほうを勧める
こうした場所は、ずっと叫び続けるか、周囲に鈍感でないかぎり苦痛を感じるように設計されていることが多い
なぜ人々がそこへ行ってお金まで使うのか分からないし、自分ならお金をもらっても行かないと思う
互いの限界を尊重することをAI機器で置き換えたいとは思わない
耳を開けたままヘッドセットの音を聞けるし、人が多い場所で通話するときのようにもっと明瞭に聞く必要がある場合は、指で耳をふさげばいい
そうすると耳の中にスピーカーキャビネットのような効果が生まれ、骨伝導の音質がより豊かになり、外部の騒音も遮断される
完全なヘッドホン品質が必要なら耳栓をすればよく、サイズも小さく目立ちにくい
完璧ではないが、「耳を開けたままヘッドセットを聞く」状態から「音を遮ってヘッドセットを非常に明瞭に聞く」状態へ、指や耳栓だけでスムーズに切り替えられる点が良い
横にショットガンマイクを付けたら本当に格好よさそうだ。狭い指向角を持つマイクをそう呼ぶので合っているなら、だが
https://www.flareaudio.com/pages/earhd
唇が見えると、読唇ができなくても言葉をずっと正確に解釈する助けになる
これについて調べるたびに自閉症やADHDとの関連に行き着き、2008年当時は診断を受ける前だったので、そうした考えを少し無視していた
今はAuDHDの診断を受けている
HN読者が知っておくべきなのは、補聴器がどれほど高価でひどいものかという点
価格を調べてみると、基本的な「音を大きくする」程度の補聴器でさえ、とんでもなく高い
さらに悪いのは、耳に介入するため、聴覚を「指向」させる能力を失いやすいこと
つまり、別の会話や騒音などをフィルタリングしにくくなる
Facebookが実用的で大衆向けのARを見つけると言って、おそらく徒労に近いことに何十億ドルも注ぎ込む過程で生まれた良い副産物の1つが https://www.projectaria.com/glasses/
AR的な動作を実験できる比較的安価なプラットフォームで、視線追跡、マイクアレイ、前面カメラを備えているため、指向性のあるマイクにかなり簡単に改造できる
私のPhonak補聴器はある程度自動でプログラムを切り替え、連携アプリで細かな調整もできる
騒がしい環境でもある程度機能し、会話もできる。10年ほど前の補聴器では不可能だったことなので、本当にありがたい
1組の価格はおよそ2000ドルで、幸い国の医療制度でカバーされており、5年に1回ほど50ドル払うだけで済む。もちろん税金で払っているとも言える
「AI」の進歩によって、単なる増幅やフィルタリングを超え、騒がしい環境で声を分離して強調したり、再構成したりできるようになることを期待している
一方で、カフェ、レストラン、バーで音楽をどんどん大きく流す流行はなくなってほしい。難聴の人にとってはもちろん、それ以外の人にとってもアクセシビリティ上の悪夢
0: https://www.socialstyrelsen.se/en/about-us/healthcare-for-vi...
1: https://www.vox.com/2018/4/18/17168504/restaurants-noise-lev...
小さなカルテルが供給を支配しているため、より良い技術で競争するより利益最大化だけを目指すインセンティブが生まれる
(0) https://www.thebignewsletter.com/p/silencing-the-competition...
そうすれば自分に合った、最も安価で信頼できる補聴器を得られる
そうしないと、感覚の喪失によって、先に述べた注意のフィルタリング問題が起き始める
聴力が落ち始めたあと聴覚補正を長く避けるほど、再び補うにはより複雑で高価な補聴器が必要になる
高価な補聴器は、感覚喪失の前には脳と聴覚皮質が担っていたことを、下手に近似しているから
ちょっと待って、聴力検査の予約をしに行かないと
祖母が存命だったころ、家族行事や公共の場で会話してみて、似たものを作ってみようかと思ったこともある
高い理由は、医療・ヘルスケア企業との関係や規制対応のせいでコストが上がるからだと思う
たとえば同じディスプレイでも、医療施設での使用認証が付くと何倍も高くなる、という具合
私のWidex補聴器は素晴らしい。一般的な状況での音質は見事
唯一の本当の不満は完全防水ではないので、雨の日に外へ出るとき少し前もって考える必要があることくらい
聴覚障害のある身としては、こういう機能は本当に天の恵みのようなもの
こういう機能はできるだけ早く補聴器に統合されるべき。黙れ、いや実際には話し続けてくれ、金は払うから
個々の音声を拾い分けられるなら、音声認識に渡して実際の会話に字幕を付けることもできる。聴力がさらに悪くなったり、まったくなくなったりしたときに役立つ
ただしクラウド往復の遅延は有用性を大きく損なうか無用にしてしまう可能性があるので、ローカルで処理できるモバイル機器が本当に必要
販売終了しているが、整備済み品は入手できる
ウェアラブル眼鏡は、述べられているユースケースにかなり有望だ。誰かと会話するとき、ヘッドホンを着けるかさばりや失礼に見える感じを避けられるから
これよりさらに進んだ形なら、私の耳鳴りにもかなり役立ちそう
1人が話しているときは、小声だったり遠くにいたりしてもよく聞こえるが、複数人が話していたり音楽があったりすると何も聞こえない
騒がしいバーに座ると、いちばん近い2人以外が何を言っているのか聞き取るのはほぼ不可能
普通の環境での会話はおおむね問題ない
だから、自分が見ている人の声を強調してくれる機能があれば本当に素晴らしいと思う
Apple AirPodsにはすでに環境やモードに反応する音の調整機能があり、話している人の前にスマートフォンを置くと特定の音声強調もサポートしている
この研究のように指向性音声強調をAirPods内で直接サポートするようになれば、騒がしい場所での社会的相互作用に大きく役立つはず
コード: https://github.com/vb000/LookOnceToHear
逆の用途で商業的に成功する可能性のほうが高そう
パーティーで、イライラする声でやたら大声でしゃべるあの一人だけをミュートできると想像してみて
コンサートでは耳を壊さないように耳栓をすることがよくあるけど、それをコンサートの音と家族・友人の声だけを残し、それ以外をフィルタリングするインイヤーヘッドホンに置き換えると想像してみて
音量も調整して、配偶者が話したらその声だけをほかの音より大きくし、群衆のざわめきは雰囲気に合わせて残しつつ、周囲の人たちの普通の会話は取り除く、という感じ
機械学習やAIの専門家ではないけれど、現在の技術で不可能なことではないと理解している
バッテリーや電力の制約はあるだろうが、コンサートなら頭の後ろをバンドが通って固定し、落としてもなくさないヘッドホンも理にかなう
「あなたの声」の学習は必要だろうけど、Alexaが10秒でできるならスマホアプリでも可能なはず
映画館向けに200ユーロ未満で出るなら今すぐ買うし、また映画館に行くかもしれない
人々はパーティーでヘッドホンを着けるの？
そういう人をフィルタリングする方法があるなら、確かにありがたいと思う
以前 Sonos で働いていたが、今のアプリ更新の大惨事やヘッドホン発売よりずっと前のことだった
最初に中止されたヘッドホン製品の開発試行のとき、これと似た、アクティブノイズキャンセリングのチップセットを通じて特定の人の声だけを選択的に通すという概念的な機能を検討していた
DSPの人たちが具体的にどんなアプローチを使っていたかは覚えていない。私はアクティブノイズキャンセリングのハードウェア寄りだった
ただ、彼らが実質的に分離できていたのは装着者本人の声だけで、その理由はその信号がほかのすべての音より強かったからだ
これは本当にすごい。ヘッドホンでほかにどんな面白いことができるのか気になる
アクティブノイズキャンセリングのチップセットは非常に強力で、その能力はまだ完全に活用されるにはほど遠いと思う
まだ適切な製品は見つかっていない
聞く側のノイズ除去は遮音とアクティブノイズキャンセリングで解決されたようだが、相手側に自分の声だけを分離し、騒音を遮断して本当のリモートワークを可能にしてくれるハードウェア・ソフトウェアの組み合わせが出てくれたら本当にうれしい
Sonos製品は全般的に基本機能に問題があり、たとえばWi-Fiが切れて戻ってきても再接続できず、その間にWi-Fiチャンネルが変わると特にひどい
「技術的な」解決策はプラグを抜いて再起動することだが、リモートではそれすらできない
Wi-Fiにつながっていて、SonosのSpotify Connectが信じられないほどバグだらけなので再起動したいときでさえ不可能だ
ESPや似たようなTIモジュールのようなものでもWi-Fi接続を維持して常に再接続するように作れるのに、Sonosのファームウェア開発者にとって、そんな基本的なことをするのがそんなに難しいのか？
依然として、目標話者と同じ位置に競合する音や声がないこと、という条件に依存している
オープンソースコードは https://github.com/vb000/LookOnceToHear にあり、論文は https://arxiv.org/abs/2405.06289 にある
なので、多くの一般向け科学記事のように完全に遠い話というわけではないのかもしれない
誰かが独立して動かしてみられるなら、結果を聞いてみたい
にぎやかな部屋で誰かの話を聞くのが難しい。おそらく、意識がすべての音を拾おうとしてしまうからで、自分には実際に大きな助けになり得る。たぶん ADHD のせいだと思う
会話相手の声以外の音を大幅に減らす方法があるなら、すばらしいと思う
AirPods自体がいつかこれをできるようになるのは時間の問題であってほしい
こういう機能は自分にとって恵みになる
小さなピー音を聞く聴力検査では問題なく出るが、特に混雑した環境では、人々が何を言っているのかを処理するのがとても難しい
父も同じ問題を抱えている
必要だとは知らなかった潜在機能だ
家ではいつもアクティブノイズキャンセリングヘッドホンを使っているので、パートナーの声だけを自動的に通してくれたら本当に便利そう
たぶんパートナーではないだろうけど、もしかすると……
パートナーの声が弱く聞こえ、耳までうまく入ってこないのは、おそらくヘッドホンの受動的な遮音のせいだろう
あるいは単に、聴いている音楽が声をかき消しているだけかもしれない
アクティブノイズキャンセリングがパートナーの声を遮るのは、その声が背景ノイズと似た高さ・大きさで混ざってホワイトノイズやカラードノイズのようになり、アクティブノイズキャンセリングがその全体を抑えられる場合だけだ