Multi-channel Audio Signal Processing Based on Sound-to-Light Conversion and Video Camera

基于声光转换和摄像机的多通道音频信号处理

基本信息

批准号：
17F17049
负责人：
小野順貴
金额：
$ 1.41万
依托单位：
Tokyo Metropolitan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2017
资助国家：
日本
起止时间：
2017-11-10 至 2020-03-31
项目状态：
已结题

项目摘要

本研究において我々は、短時間毎の音強度によってLEDを駆動し光強度に変換する「ブリンキー」というセンサノードを開発した。本研究の目的は「ブリンキー」を多数、空間中に配置し、通常のフレームレートのカメラでこれを映像として取得し、カメラを一種の多チャンネル音響デバイスとして用ることで、従来は困難であった広範囲からの音響情報の取得を容易にし、音響シーン認識、音源定位、音源強調などをカメラによって行う新しい音響応用システムを実現することを目指している。2019年度成果は以下の通りである。1) マルチモーダル音源強調：通常のマイクロホンアレイとブリンキーを組み合わせたマルチモーダルな音源強調法として、1-a) ブリンキーにより得られる音強度信号をNMFにより分離し、得られたVAD情報を用いてSN比最大化ビームフォーマを設計する手法、1-b) ブリンキー、マイクロホンアレイにより得られるマルチモーダルな信号を同じ確率モデルで同時最適化し，音源分離を行う手法，の2つのアプローチで定式化した。2) ブリンキーに基づく複数音源定位：ブリンキーにより得られる音強度信号をNMFにより分離し、単一音源に対するブリンキーの空間強度パターンをあらかじめ学習させたDNNにより複数音源定位を行う手法を提案した。3) ブラインド音源分離の高速アルゴリズム：1)の展開として、3-a) 分離行列のrank-1更新による音源分離 (ISS)、3-b) 過決定条件での効率的な音源分離 (FIVE)という2つの新たなブラインド音源分離アルゴリズムを提案した。4) 音高のリアルタイム可視化：従来のブリンキーでは観測された音信号全体の強度によりLEDを駆動していたが、特定の音にのみ反応するブリンキーの第一段階として、クロマベクトルに基づきブリンキー内で音高を検出し、特定音高の音対してのみ反応するブリンキーを実現した。

在这项研究中，我们开发了一个称为“ Brinky”的传感器节点，该节点通过驱动LED驱动LED，并通过短期声音强度将其转换为光强度。这项研究的目的是将大量的“边缘”放在空间中，以正常帧速率以相机作为视频，并将相机用作一种多通道的声学设备，这是常规的困难的目的是使从广泛的范围内获取声学信息，并实现带有相机带有相机的相机的新的声学应用系统。 2019年的结果如下。 1）多模式的声音源重点：作为一种多模式的声源强调方法，将正常的麦克风阵列和边缘结合在一起，Brinky获得的声音信号由NMF分开，并使用了使用的VAD信息。光束形式，1-b）边缘和通过麦克风阵列获得的多模式信号通过两种方法进行了解决：同时通过相同的概率模型优化并分离声源。 2）基于边缘的多个声音源：Brinky获得的声音强度信号由NMF分开，以及一种在DNN中执行多个声源的方法，该方法已事先学习了单个声源的Brinky空间强度模式IS建议的。 3）作为盲声源分离的高速算法：1），3-a）等级1更新的声源分离（ISS），3-b）在多付条件下（五）我们提出了两个新的盲声源分离算法。 4）声音高度的实时可视化：在常规的边界中，LED由整体声音信号的强度驱动，但它仅对特定的声音反应，并在基于Chroma矢量的边缘。仅检测到特定声音高度的声音。