Innovation of speech / acoustic scene recognition based on distributed acoustic sensing and asynchronous sequence modeling

基于分布式声学传感和异步序列建模的语音/声学场景识别创新

• 批准号: 20H00613
• 负责人: 小野 順貴
• 金额: $ 28.95万
• 依托单位: Tokyo Metropolitan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H00613/
• 关键词: 非同期; 分散音響センシング; 音源分離; 音声認識; 音響シーン認識; 分散マイクロホンアレイ; 同期; ブリンキー; 非同期; 分散音響センシング; 音源分離; 音声認識; 音響シーン認識; 分散マイクロホンアレイ; 同期; ブリンキー

2021年度は以下の成果を得た。1) 音響シーン認識：分散マイクロホンによる観測の一部に欠損がある場合，欠損を模擬したモデル学習やAutoEncoderによる欠損の補完により，シーン分類性能低下を防ぐ手法を提案した。また，音響イベント検出と音響シーン認識を同時にモデル化し，音響イベントの弱ラベルを用いて相互に性能を高めあう学習法を提案した。ブリンキーを用いることを想定した end-to-end学習に基づく音響シーン認識についても検討を進めた。2) ブリンキーに基づく分散音響センシング：小規模DNNをブリンキー内で動作させることに成功した。また，光信号飽和時に伝達係数と信号を推定する手法を提案した。新たな展開として，音響信号から複数ブリンキーの光信号への変換を圧縮センシングと捉え，スパースなスペクトルを復元する手法を提案した。3) 非同期信号の同期技術：補助関数法を用いた複数時間差推定のオンライン化について検討した。また，この手法をサンプリング周波数ミスマッチの同時推定に拡張した。4) 微弱周期信号への動的同期加算：サンプリング周波数が微小に時間変動する環境下で微弱周期信号を強調する手法を，インパルス応答推定に応用した。さらに前年度収録したデータベースを用いて実環境での評価も行った。5) アレイ信号処理の発展：リアルタイム応用を想定し，因果性制約下近接分離最適化によりビームフォーマーを設計する手法を提案した。時間周波数線形結合ビームフォーマーについても最適なフィルタ数について検討を進めた。音場補間に基づく，マイクロホンアレイの回転に頑健なビームフォーミングを提案した。6) 実世界応用：自閉スペクトラム症診断のための対話音声の分散録音と分析について検討を進めた他，国立国語研究所が公開している日常会話コーパスに対して，ブラインド同期と音源分離による重畳音声の分離を試みた。

在2021财政年度，我们获得了以下结果：1）声学场景识别：如果分散麦克风的某些观察结果存在缺陷，我们提出了一种方法，通过学习模拟模拟缺陷并使用自动辅助模型来防止场景分类效果的方法来防止场景分类性能降低。我们还提出了一种学习方法，该方法同时建模了声学事件检测和声学场景识别，并使用弱标签来进行声学事件来提高性能。我们还讨论了基于端到端学习的声学场景识别，假设使用了眨眼。 2）基于眨眼的分布式声感应：眨眼内的小规模DNN的成功操作。我们还提出了一种估算光学信号饱和时传输系数和信号的方法。作为一种新的开发，我们提出了一种方法，通过将声学信号转换为多个闪电器光学信号作为压缩感应来重建稀疏频谱。 3）异步信号的同步技术：我们使用辅助函数方法研究了多个时间差估计的在线化。此外，该方法扩展到了采样频率不匹配的同时估计。 4）在弱周期性信号中的动态同步添加：在采样频率略有变化的环境中强调弱周期性信号的技术已应用于脉冲响应估计。此外，使用上一年记录的数据库在真实环境中进行了评估。 5）阵列信号处理的开发：我们提出了一种在实时应用的假设下，通过在因果约束下优化邻近分离来设计光束形式的方法。我们还研究了时间频线线性耦合光束器的最佳过滤器数量。我们提出了基于声场插值的麦克风阵列旋转的稳健光束形成。 6）现实世界的应用：除了研究自闭症谱系障碍诊断的分布式记录和对话言语的分析外，我们还试图通过盲目同步和声音源分离来分开由美国国家语言和研究学院发表的每日对话语料库的叠加语音。