Development of sound source separation method focusing on the singular point in spatio-temporal spectrum

时空谱奇异点声源分离方法研究进展

• 批准号: 19K04408
• 负责人: 小澤 賢司
• 金额: $ 2.75万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K04408/
• 关键词: 時空間音圧分布画像; マイクロホンアレイ; 特異点; 音源分離; 時空間スペクトル; ニューラルネットワーク; フェーズドアレイ; ベイズ信号処理; 雑音抑圧; 2次元高速フーリエ変換; 時空間音圧分布画像; マイクロホンアレイ; 特異点; 音源分離; 時空間スペクトル; ニューラルネットワーク; フェーズドアレイ; ベイズ信号処理; 雑音抑圧; 2次元高速フーリエ変換

本研究では，スマートフォンに搭載可能な程度の小規模マイクロホンアレイにより，高精度な目的音抽出の実現を目指している。その基本戦略として，アレイ出力を画像（時空間音圧分布画像）と見なした場合に，その時空間スペクトルにおいては音源位置が特異点となることを利用する。特に，方向が同一で距離のみが異なる複数音源からの抽出を可能とすることに意義があると考えている。2022年度も，4個のマイクロホンを約6 cmの円弧上に配置したアレイを想定し，同一方向に複数音源がある場合に，目的音に仮想焦点をあわせ，それ以外の音を一括して消去することができることを示した。その原理は，音源までの距離が3 m 以上の場合にはアレイに到達する音波を平面波に近似できることにより，時空間音圧分布画像の音源距離による変化を無視できることである。この成果をIEEE GCCE2022および日本音響学会2023年春季研究発表会で報告した。別の解法として，振幅スペクトルを音圧レベルで表示した非線形連立方程式をニューラルネットワーク(NN)により解くことを検討した。この件に関しては，直線上に配置したアレイに平面波が到来するという最も基本的な場合を取り上げ検討を行った。2雑音到来条件で時空間音圧分布画像のスペクトルをNNで学習することで，3雑音についても雑音低減効果があることを示した。この成果をICEET 2022で報告した。また，本研究では，目的音源にアレイの焦点を形成することが要点であるので，音源から到来する音波のみを使って音源測距する手法についても検討した。そのためにベイズ信号処理を導入し，音源からの距離減衰の情報に基づいた測距よりも，時空間音圧分布画像のスペクトル情報を利用した測距の方が高性能であることを示した。この成果を電子情報通信学会の研究会や日本音響学会2022年秋季研究発表会で報告した。

这项研究旨在使用可以安装在智能手机上的小规模麦克风阵列来实现高精度目标声音提取。作为一种基本策略，当阵列输出被认为是图像（时空声音压力分布图像）时，声源位置成为时空频谱中的一个单数点。特别是，我们认为允许从具有相同方向和不同距离的多个声音源中提取是有意义的。在2022年，我们还假设一个阵列在大约6厘米的弧线上排列了四个麦克风，并表明当多个声源沿同一方向存在时，目标声音几乎可以集中到目标声音，并且可以一次删除其他声音。原理是，如果到达声源的距离为3 m或更多，则可以将到达阵列的声波近似于平面波，从而可以忽略由于声源距离而导致的时空声音压力分布图像中的变化。该结果在IEEE GCCE 2022和日本声学学会的2023年春季研究演讲中进行了报道。作为另一种解决方案，我们研究了使用神经网络（NN）来求解非线性同时方程，其中振幅频谱在声压水平上显示。关于此问题，我们讨论了平面波的最基本案例，即将阵列放在直线上。结果表明，通过在两个声音到达的条件下学习时空声音压力分布图像的光谱，即使在三个噪音中，它也具有减少噪声的效果。此结果是在ICEET 2022上报告的。此外，在这项研究中，由于关键点是形成阵列在目标声源上的焦点，因此我们还检查了一种仅使用来自声源到达的声波来测量声源的方法。为此，引入了贝叶斯信号处理，并表明，基于关于声源的距离衰减的信息，使用时空声音压力分布图像中使用光谱信息范围比距离测量更有效。该结果在电子，信息与传播工程师研究所电子，信息和通信工程师研究所以及日本声学学会的2022年秋季研究演讲中进行了报道。