-
フェーズドアレイマイク
- 192チャンネルのフェーズドアレイマイクロフォンで、FPGAによるデータ収集とGPU上でのビームフォーミング/可視化機能を提供する。フェーズドアレイは従来の指向性マイクロフォンでは不可能な応用を可能にし、録音後に指向性を即座に変更したり、数十万個の地点に同時に焦点を合わせたりできる。
- すべての設計はオープンソースで提供されている:
- ホストソフトウェア
- FPGAゲートウェア
- PCBレイアウトと回路図、機械部品
-
ハードウェア
- フェーズドアレイマイクロフォンを作るには、多数のマイクを広い間隔で配置する必要がある。線形アレイの場合、マイク間の指数間隔が広帯域信号に最適である。
- 総コストは約$700。
アーム
- 各アームの長さは、PCB製造および組み立ての制約によって決まる。JLCPCBで製造され、4層PCBの最大長は570mmである。
- 選定されたマイクは最も安価なデジタル出力MEMSマイクで、性能特性に大きな差はない。
- PDMを使ってデータを出力し、DDRに対応しているため、2つのマイクを1本のワイヤに多重化できる。
- 各アームには8個のマイクがあり、4本の出力ラインを共有し、クロック入力ラインには出力バッファが含まれる。
- PCBの歩留まりは良くなく、クロックラインが3V3またはGNDに短絡するのが最も一般的な問題である。
ハブ
- FPGAは多数の低遅延IOを収集し、高速インターフェースで通信できるため、データ収集に使用される。
- Colorlight i5カードが使用されており、十分なIOを備え、価格が安く、2つのEthernet PHYが統合されている。
- ハブには、シンプルな電源管理回路とアーム基板、Ethernetコネクタが含まれる。
機械設計
- アームはM3ネジを使ってハブに取り付けられ、PCB取付用スタンドオフ/ナットを使って組み立てられる。
- 初期設計ではアームPCBにスロットがあり、構造用PCBとかみ合うようになっていたが、最終設計ではMDFで外周を囲み、ケーブルタイで固定されている。
- 壁に取り付けたマイクアレイは反射の影響を受けやすいため、反射を減らすために吸音フォームを使用する。
-
ゲートウェア
- ゲートウェアの主な目標は、生データを損失なくコンピュータへ転送することである。
- FPGAでデシメーションやフィルタリングを行えばデータ転送速度は下がるが、生のPDMデータを転送することも可能である。
PDMインターフェース
- PDM入力モジュールは50MHzのシステムクロックを16分周して3.125MHzのPDMクロックを出力し、各クロックエッジの後に96本の入力ピンをラッチする。
- データ速度は600Mbpsで、ヘッダを含めると700Mbpsである。
パケット化
- パケット化はFIFOバッファで行い、キューに十分なデータがあるときにのみパケットを開始することで、一定サイズのパケットを保証する。
- 48個のPDM出力ブロックが各パケットに含まれ、転送速度は715 Mbpsである。
UDPストリーマー
- LiteEthプロジェクトのおかげで、UDPおよびIPカプセル化の複雑さが抽象化され、FIFOをUDPストリームに接続するのは簡単である。
-
ソフトウェア
CICフィルタ
- 各マイクは3.125MHzで1ビット信号を生成するため、これをより現実的なサンプルレートとビット深度に下げる必要がある。
- 4段、16倍デシメーションのCICフィルタを使用して、サンプルレートを195kHzに下げる。
キャリブレーション
- アレイのキャリブレーションのために、スピーカーがホワイトノイズを再生しながらアレイ前方を移動する。
- FFTベースの相互相関を使って、マイク間の相対遅延を計算する。
- 音源位置とマイク位置を最適化して、システムの最適なモデルを得る。
ビームフォーミング
- ビームフォーミングは、生のマイク入力を処理して指向性応答を生成する方法である。
- 周波数領域で遅延を実装して信号を処理する。
- 3D近距離ビームフォーマーと2D遠距離ビームフォーマーを実装している。
近距離3Dビームフォーミング
- 5cmボクセルグリッドで実行され、RTX 4090で12Hzの更新速度を達成している。
- VisPyを使って可視化する。
遠距離2Dビームフォーミング
- 512x512ピクセルグリッドを使用し、12Hzの更新速度を達成している。
指向性オーディオ
- 時間領域の遅延加算ビームフォーマーを実装し、指向性オーディオ録音を可能にしている。
録音
- マイクアレイのデータはUDPパケットとして、
tcpdumpのようなツールで録音できる。
- 録音実装の欠点は、出力データ速度が非常に高いことである。
-
次のステップ
- このプロジェクトは本質的に完成しており、今後追加作業を行う予定はないが、いくつかの拡張可能性がある。
- より高度なビームフォーミングアルゴリズムの使用
- すべての機能を統合したより良いGUI
- 微分可能ビームフォーミングとニューラルネットワークモデルの統合
1件のコメント
Hacker Newsのコメント
音速を最適化してシステムの最適モデルを得るプロセスは、非常に複雑な温度計のように機能すると言及している
4つのマイクロフォンを使ってコウモリの位置を特定し、種を識別するプロジェクトを行った
TDM I2SマイクロフォンではなくPDMを使った理由について質問されている
超音波スピーカーアレイと組み合わせて医療応用に使いたいという意見を述べている
YouTubeで音響カメラの印象的なデモを見ることができると言及している
モバイル機器に高品質な指向性オーディオ機能が導入されることを望んでいる
Boeingが787プロトタイプで使用した球形音響システムに言及している
位置ベースで音を分離するプロジェクトはすばらしいだろうと考えている
長い「腕」状のPCBに驚きを示している
ドローンでこのような技術がますます多く使われていると言及している