無線音響センサネットワークのEnd-to-End最適化による実環境音響シーン分析

通过无线声学传感器网络端到端优化进行真实世界声学场景分析

• 批准号: 22K17915
• 负责人: 木下 裕磨
• 金额: $ 2.83万
• 依托单位: Tokai University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2027-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17915/
• 关键词: 無線音響センサネットワーク; マイクロフォンアレイ; 深層学習; End-to-End最適化; 音響シーン分析; センサネットワーク; 無線音響センサネットワーク; マイクロフォンアレイ; 深層学習; End-to-End最適化; 音響シーン分析; センサネットワーク

特殊な無線音響センサである「ブリンキー」に注目し，誤差逆伝播法が利用できる環境における音響シーン分析システムのEnd-to-End最適化の有効性をシミュレーション実験により明らかにした．具体的には，1) ブリンキー信号強度やサンプリングレート変換に対するシステムの頑健性獲得，および2) 信号の一部区間の損失に対するシステムの頑健性獲得に効果があることを確かめた．加えて，無線音響センサの数が音響シーン分析システムの性能にどう影響するかを確認した．通常の無線音響センサネットワークは，マイクロフォンの量子化ビット数を24 bit，サンプリング周波数を48 kHzとすると，マイクロフォン1台あたり約1.2 Mbps もの通信帯域を必要とする．一方，ブリンキーを用いた今回のシミュレーションにおいては，ブリンキー1台あたり240 bps の通信帯域のみしか利用できない状況を想定している．したがって，本研究成果は，通常の無線音響センサネットワークにおける通信帯域を大きく削減できる可能性を示唆するものであるといえる．現在は，これらの結果を国際的な論文誌で発表すべく，準備を進めている最中である．無線音響センサネットワークには音響センサを容易に設置・移動できる特徴があるが，音響センサの設置や移動，撤去による録音環境の変化は，深層学習モデルの性能低下をもたらす．この課題を解決するために，無線音響センサネットワークのファインチューニングに取り組んでいる．本件については，現在シミュレーション実験用プログラムを開発している途中である．

为了关注特殊的无线声学传感器“眨眼”，我们揭示了在通过模拟实验获得错误反向传播的环境中端到端优化声学场景分析系统的有效性。具体而言，已经证实它在1）获得眨眼信号强度和采样率转换的系统鲁棒性以及2）获得系统鲁棒性以降低某些信号间隔的损失。此外，我们已经确认了无线声传感器的数量如何影响声学场景分析系统的性能。典型的无线声音传感器网络需要每个麦克风的通信带约为1.2 Mbps，假设麦克风中的量化位数为48 kHz。另一方面，在使用眨眼的模拟中，假定每眨眼只能使用240 bps的通信带。因此，这项研究发现表明，可以实现典型的无线声传感器网络中通信带宽的可能性。目前，我们目前正在准备在国际杂志中发布这些结果。无线声传感器网络具有轻松安装和移动声传感器的能力，但是由于安装，移动和删除声传感器而导致的录音环境变化会导致深度学习模型的性能恶化。为了解决这个问题，我们正在研究无线声学传感器网络的微调。关于此问题，我们目前正在开发一个模拟实验计划。