Triforce - Apple SiliconノートPC向けビームフォーマー

 (crates.io)
1 ポイント 投稿者 GN⁺ 2025-03-25 | 1件のコメント | WhatsAppで共有
  • Triforceは、Apple SiliconノートPCのマイクロフォンアレイ向けに、Minimum Variance Distortionless Response適応型ビームフォーマーを実装
  • 対応モデル: MacBook Pro/AirのM1以降のモデル
  • 上記のApple SiliconノートPCは、三角形または直線状に配置されたマイクロフォンを備える
  • Appleはユーザー空間で適応型ビームフォーマーを実装し、背景雑音から目的の信号を分離しようとしている
  • ビームフォーミングがないと、アレイは過敏かつ無指向性すぎて有用ではない
  • macOS以外で有用に使うにはビームフォーマーが必要
  • 対応モデル一覧
    • MacBook Pro 13" (M1/M2)
    • MacBook Air 13" (M1/M2)
    • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
    • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
    • MacBook Air 15" (M2)

想定しておくべきこと

  • DSP関連の話題、特に広帯域適応型ビームフォーミングについて、手に取りやすい文献を見つけるのは非常に難しい
  • このプロジェクトは、工学数学1年生レベルの知識と、WebページやPDFから得た原理に基づいてビームフォーマーを試みたもの
  • 現時点でAppleの実装を上回ることは期待しないほうがよい
  • 改善のためのパッチはいつでも歓迎

既知の制限事項

  • nalgebraは明示的なSIMD最適化を行わず、LLVMの自動ベクトル化に依存している
  • 行列演算ルーチンの性能と効率が良くない
  • 追加の計算負荷のため、広帯域分解は行っていない
  • SIMD/NEON対応がないと、リアルタイムのオーディオプラグインとしては遅すぎる
  • 出力はモノラルのみ対応
  • ステレオ出力を擬似的に作るための追加の行列処理は、計算コストが高すぎる

関連記事

1件のコメント

 
GN⁺ 2025-03-25
Hacker Newsのコメント

  • 20年前、ToshibaのTablet PCコンバーチブルモデルにはビームフォーミング用のマイクアレイが搭載されていた。ソフトウェアで録音方向を指定できた

    • 講義で便利で、教授の方向にビームを向けて録音できた
    • それ以来、このような機能は見たことがない

  • 未完成の修士論文は、スマートフォンのマイクを活用して3D空間で話者を位置特定・分離することに関するものだった

    • デバイス間でサンプリングレートがわずかに異なる
    • 民生用マイクのスペクトル特性はさまざま
    • 音はあらゆる場所で反射し、特にコンクリート壁で顕著
    • 自動車は手軽に使える無響室に近い
    • ガウス分布のフーリエ変換はガウス分布であり、これは周波数推定に有用

  • Apple Silicon MacでLinuxを動かすには多くの作業が必要だと気づいた

    • 内蔵マイクはほとんど使われていない
    • Appleのすべてが簡単というわけではない

  • 安価なノートPCハードウェアでも、ソフトウェアDSP技術で驚くような結果を得られる

    • Asahiのオーディオ作業は一般的なノートPCにも適用可能
    • Bankstownベースハーモニック合成プラグインとコンボリューションEQを使って印象的な結果を得た

  • SIMD最適化についてはfaerを検討できる

    • pulpライブラリの経験は良くなかったが、主に線形代数演算の高速化が目的ならうまくいくはず
    • Rust SIMDに関するブログ記事とポッドキャストが予定されている

  • Apple SiliconノートPCのマイクアレイに関する質問

    • M2/M3モデルにも同様のマイクアレイがあるのか、あるいは未検証なのか気になる
    • LinuxとMacOSでサポートされているかどうかも疑問

  • Appleはスピーカーと同様、マイクでも複雑すぎるアプローチを取っているように見える

    • MBPユーザーとして、スピーカー実装には感心した
    • ドライバアレイ以外の知識はないが、小型スピーカーから性能を引き出すための工夫を使っているようだ

  • 最新のAsahi Linux進捗報告に関する一般的な議論

    • PDMマイクは非常に無指向性で高感度
    • ビームフォーミングが必要
    • スピーカー出力に関する以前の作業がマイク入力にも再利用された
    • PipeWireとWirePlumberのおかげで、マイク向けDSPチェーンの接続は簡単だった

  • 他のメーカーも簡単にマイクアレイを構築できるように実装されるとよい