選択的音楽聴取を実現するリアルタイム音源分離とその応用

实时声源分离及其在选择性音乐收听中的应用

• 批准号: 22KJ2548
• 负责人: 中嶋 大志
• 金额: $ 1.41万
• 依托单位: Tokyo Metropolitan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ2548/
• 关键词: 音響信号処理; 音声信号処理; ブラインド音源分離; リアルタイム音源分離; 独立ベクトル分析; 独立低ランク行列分析; 音楽信号処理

本研究課題では音楽信号の選択的な聴取の実現を目指して，高精度かつ低演算量なブラインド音源分離手法の開発に取り組んでいる．ブラインド音源分離はスマートフォンにおける音声認識機能や補聴器の性能向上などに応用されている．さらに，音楽信号の選択的な聴取が可能になれば，音楽のリミックスや自動採譜などさらなる応用が期待される．本年度はまず，前年度からの継続として，独立低ランク行列分析を用いた音源分離の性能向上に関する研究について査読対応を進め，ジャーナル論文としての採択に至った．次に実環境でのユーザ自身の移動に頑健な音源分離に取り組み，音場補間とオンライン音源分離を組み合わせることにより，頭部装着した円状マイクが回転しても連続的にオンライン音源分離を行う手法を提案し，日本音響学会研究発表会にて発表した．また，前年度に提案したiterative source steering（以下，ISS）を用いたオンライン音源分離に引き続き取り組み，国際会議APSIPA ASCに採択され，発表した．さらにオンライン音源分離の特殊な場合として，１個の音源だけが移動する状況でオンライン音源分離を行う問題を音源追跡と呼び，この問題について効率的な手法を検討した．ISSを適用する際のパラメータ更新方法を工夫することによって online source steering（OSS）という新たな手法を導出し，演算量のオーダーを理論限界まで削減することに成功した．この内容は，信号処理分野のトップ国際会議であるICASSPに採択された．なお本成果は指導教員の小野順貴教授が研究代表者を務めるJSPS科研費の助成も部分的に受け，ＮＴＴコミュニケーション科学基礎研究所との共同研究の一環として取り組んだものであり，特許出願中である．

在本研究项目中，我们正在开发一种高精度、低计算复杂度的盲声源分离方法，旨在实现音乐信号的选择性收听。盲声源分离已被应用于提高智能手机的语音识别功能和助听器的性能。此外，如果可以选择性地收听音乐信号，则预计会有进一步的应用，例如音乐混音和自动乐谱。今年，作为去年的延续，我们开始对我们关于使用独立低秩矩阵分析提高声源分离性能的研究进行同行评审，这导致其被接受为期刊文章。接下来，我们将致力于对真实环境中用户的移动具有鲁棒性的声源分离，通过声场插值和在线声源分离相结合，即使圆形麦克风佩戴在身上，我们也将持续进行在线声源分离。我们提出了一种方法并在日本声学学会研究会议上提出。此外，我们继续去年提出的使用迭代源引导（ISS）进行在线声源分离的工作，我们的工作被采纳并在国际会议 APSIPA ASC 上展示。此外，作为在线声源分离的一种特殊情况，在只有一个声源移动的情况下进行在线声源分离的问题称为声源跟踪，我们研究了解决该问题的有效方法。通过设计应用ISS时的参数更新方法，我们衍生出一种称为在线源引导（OSS）的新方法，并成功地将计算量减少到理论极限的量级。该内容被信号处理领域国际顶级会议ICASSP采纳。该成果得到了 JSPS KAKENHI 的部分支持，我的导师 Junki Ono 教授是该研究的首席研究员，是与 NTT 通信科学实验室联合研究的一部分，目前正在申请专利。

项目成果

独立ベクトル分析によるオンライン音源分離・追跡のための高速最適化

使用独立矢量分析快速优化在线声源分离和跟踪

• 发表时间: 2023
• 作者: 中嶋 大志;池下 林太郎;小野 順貴;荒木 章子;中谷 智広
• 通讯作者: 中谷 智広

補助関数法を用いた複数時間差のオンライン推定

利用辅助函数法在线估计多重时间差

• 发表时间: 2022
• 作者: 山岡 洸瑛;中嶋 大志;若林 佑幸;小野 順貴
• 通讯作者: 小野 順貴

ブラインド音源分離に基づく複数音源方向推定を用いた分離音源選択の検討

基于盲声源分离的多声源方向估计分离声源选择研究

• 发表时间: 2021
• 作者: 茂木 倖大;中嶋 大志;若林 佑幸;小野 順貴
• 通讯作者: 小野 順貴

Inverse-free Online Independent Vector Analysis with Flexible Iterative Source Steering

• DOI: 10.23919/apsipaasc55919.2022.9979837
• 发表时间: 2022-09
• 期刊: 2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
• 作者: Taishi Nakashima;Nobutaka Ono

音源追跡方法及び装置

声源追踪方法及装置

• 发表时间: 2023