選択的音楽聴取を実現するリアルタイム音源分離とその応用

实时声源分离及其在选择性音乐收听中的应用

• 批准号: 22KJ2548
• 负责人: 中嶋 大志
• 金额: $ 1.41万
• 依托单位: Tokyo Metropolitan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ2548/
• 关键词: 音響信号処理; 音声信号処理; ブラインド音源分離; リアルタイム音源分離; 独立ベクトル分析; 独立低ランク行列分析; 音楽信号処理

本研究課題では音楽信号の選択的な聴取の実現を目指して，高精度かつ低演算量なブラインド音源分離手法の開発に取り組んでいる．ブラインド音源分離はスマートフォンにおける音声認識機能や補聴器の性能向上などに応用されている．さらに，音楽信号の選択的な聴取が可能になれば，音楽のリミックスや自動採譜などさらなる応用が期待される．本年度はまず，前年度からの継続として，独立低ランク行列分析を用いた音源分離の性能向上に関する研究について査読対応を進め，ジャーナル論文としての採択に至った．次に実環境でのユーザ自身の移動に頑健な音源分離に取り組み，音場補間とオンライン音源分離を組み合わせることにより，頭部装着した円状マイクが回転しても連続的にオンライン音源分離を行う手法を提案し，日本音響学会研究発表会にて発表した．また，前年度に提案したiterative source steering（以下，ISS）を用いたオンライン音源分離に引き続き取り組み，国際会議APSIPA ASCに採択され，発表した．さらにオンライン音源分離の特殊な場合として，１個の音源だけが移動する状況でオンライン音源分離を行う問題を音源追跡と呼び，この問題について効率的な手法を検討した．ISSを適用する際のパラメータ更新方法を工夫することによって online source steering（OSS）という新たな手法を導出し，演算量のオーダーを理論限界まで削減することに成功した．この内容は，信号処理分野のトップ国際会議であるICASSPに採択された．なお本成果は指導教員の小野順貴教授が研究代表者を務めるJSPS科研費の助成も部分的に受け，ＮＴＴコミュニケーション科学基礎研究所との共同研究の一環として取り組んだものであり，特許出願中である．

该研究主题正在努力开发一种盲目的分离方法，该方法是高度准确且计算密集的盲源分离方法，目的是实现选择性聆听音乐信号的目的。盲声源分离已应用于提高智能手机和助听器中语音识别功能的性能。此外，如果有选择性收听音乐信号的可能性，则预计会有更多的应用程序（例如混合音乐和自动转录）。今年，作为上一年的延续，我们开始回答有关使用独立低级矩阵分析改善声音源分离性能的研究的同行评论，并被选为期刊文章。接下来，我们在真实环境中对用户自己的动作进行了强大的声音源分离，并提出了一种方法，即使当圆形麦克风连接到头部的圆形麦克风通过结合声场插值和在线声音源分离而旋转，并在日本声学社会研究介绍中呈现。此外，该公司继续努力使用上一年提出的迭代源转向（以下称为ISS）分开在线声音来源，并由国际会议APSIPA ASC选择并介绍了它。此外，在在线声源分离的特殊情况下，在仅一个声音源移动的情况下，在线声源分离的问题称为声源跟踪，并检查了此问题的有效方法。通过设计应用ISS时更新参数的方法，我们得出了一种称为在线源转向（OSS）的新方法，并成功地将计算量的顺序降低到了理论上的限制。此内容是由信号处理领域的国际顶级会议ICASSP通过的。该结果得到了JSPS研究基金的部分支持，该基金是主管，Ono Junki教授的主要研究员，并与NTT通信科学研究所共同研究，目前正在申请专利。

项目成果

独立ベクトル分析によるオンライン音源分離・追跡のための高速最適化

使用独立矢量分析快速优化在线声源分离和跟踪

• 发表时间: 2023
• 作者: 中嶋 大志;池下 林太郎;小野 順貴;荒木 章子;中谷 智広
• 通讯作者: 中谷 智広

補助関数法を用いた複数時間差のオンライン推定

利用辅助函数法在线估计多重时间差

• 发表时间: 2022
• 作者: 山岡 洸瑛;中嶋 大志;若林 佑幸;小野 順貴
• 通讯作者: 小野 順貴

ブラインド音源分離に基づく複数音源方向推定を用いた分離音源選択の検討

基于盲声源分离的多声源方向估计分离声源选择研究

• 发表时间: 2021
• 作者: 茂木 倖大;中嶋 大志;若林 佑幸;小野 順貴
• 通讯作者: 小野 順貴

Inverse-free Online Independent Vector Analysis with Flexible Iterative Source Steering

• DOI: 10.23919/apsipaasc55919.2022.9979837
• 发表时间: 2022-09
• 期刊: 2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
• 作者: Taishi Nakashima;Nobutaka Ono

音源追跡方法及び装置

声源追踪方法及装置

• 发表时间: 2023