Multi-channel Audio Signal Processing Based on Sound-to-Light Conversion and Video Camera

基于声光转换和摄像机的多通道音频信号处理

基本信息

批准号：
17F17049
负责人：
小野順貴
金额：
$ 1.41万
依托单位：
Tokyo Metropolitan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2017
资助国家：
日本
起止时间：
2017-11-10 至 2020-03-31
项目状态：
已结题

项目摘要

本研究において我々は、短時間毎の音強度によってLEDを駆動し光強度に変換する「ブリンキー」というセンサノードを開発した。本研究の目的は「ブリンキー」を多数、空間中に配置し、通常のフレームレートのカメラでこれを映像として取得し、カメラを一種の多チャンネル音響デバイスとして用ることで、従来は困難であった広範囲からの音響情報の取得を容易にし、音響シーン認識、音源定位、音源強調などをカメラによって行う新しい音響応用システムを実現することを目指している。2019年度成果は以下の通りである。1) マルチモーダル音源強調：通常のマイクロホンアレイとブリンキーを組み合わせたマルチモーダルな音源強調法として、1-a) ブリンキーにより得られる音強度信号をNMFにより分離し、得られたVAD情報を用いてSN比最大化ビームフォーマを設計する手法、1-b) ブリンキー、マイクロホンアレイにより得られるマルチモーダルな信号を同じ確率モデルで同時最適化し，音源分離を行う手法，の2つのアプローチで定式化した。2) ブリンキーに基づく複数音源定位：ブリンキーにより得られる音強度信号をNMFにより分離し、単一音源に対するブリンキーの空間強度パターンをあらかじめ学習させたDNNにより複数音源定位を行う手法を提案した。3) ブラインド音源分離の高速アルゴリズム：1)の展開として、3-a) 分離行列のrank-1更新による音源分離 (ISS)、3-b) 過決定条件での効率的な音源分離 (FIVE)という2つの新たなブラインド音源分離アルゴリズムを提案した。4) 音高のリアルタイム可視化：従来のブリンキーでは観測された音信号全体の強度によりLEDを駆動していたが、特定の音にのみ反応するブリンキーの第一段階として、クロマベクトルに基づきブリンキー内で音高を検出し、特定音高の音対してのみ反応するブリンキーを実現した。

在这项研究中，我们开发了一个称为“眨眼”的传感器节点，该节点驱动LED并通过短声强度将其转换为光强度。 The purpose of this research is to place a large number of "blinkers" in space, acquire them as images using a camera with a normal frame rate, and use the camera as a type of multi-channel audio device, making it easier to acquire sound information from a wide range of areas, which was previously difficult, and to realize a new acoustic application system that uses cameras to recognize sound scenes, sound source localization, and sound source emphasis. 2019财政年度的结果如下：1）多模式的声源重点：作为一种多模式的声音源强调方法，结合了正常麦克风阵列和眨眼，我们制定了两种方法：1-a）一种方法，一种通过NMF和设计量的闪光来获得的声音强度的方法，该方法使用nmf the Enferation nmf terne nmf bebortio nmf s/n novio s/n vertio s/n vatio s/n vatio s/n vatio s/N 1-b）使用相同的概率模型通过眨眼和麦克风阵列获得的多模式信号的一种方法，以分离声源。 2）基于眨眼的多个声源定位：我们提出了一种使用DNN定位多个声源的方法，该方法是通过分离NMF通过眨眼获得的声音强度信号获得的，然后使用DNN定位了多个声源，DNN已提前训练了单个声音源的空间强度模式。 3）盲目分离的快速算法：1）作为两种新的盲源分离算法的扩展：3-a）源分离，通过在过度确定条件下更新分离矩阵（ISS）和3-b）有效源分离的等级1，来源分离（五）。 4）音高的实时可视化：在传统的闪光器中，LED是由整个观察到的声音信号的强度驱动的，但是由于闪烁的闪光器仅响应特定声音的第一步，我们已经意识到了一个闪烁的闪光灯，该闪光器检测基于闪烁的斜坡，基于色度向量，并且只能在特定音调上响应特定音调。