スパース信号分解に基づく多次元音響メディア情報処理及びその音拡張現実感への応用

基于稀疏信号分解的多维音频媒体信息处理及其在音频增强现实中的应用

• 批准号: 14J10796
• 负责人: 北村 大地
• 金额: $ 1.79万
• 依托单位: The Graduate University for Advanced Studies
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-25 至 2017-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J10796/
• 关键词: 音源分離; 音メディア信号処理; 非負値行列因子分解; 多チャネル; 音響信号処理; 独立成分分析; 多チャネル信号処理; アレー信号処理

本研究は，音メディアを対象とした拡張現実感システム（音ARシステム）の構築を最終的な目標としており，頑健に動作する教師無し及び教師あり音源分離技術の基礎的な理論構築及びマルチチャネル信号への拡張を行う．このような音源分離技術は，補聴器等の人支援デバイスや高臨場感音場再現技術，既存の音楽の能動的な鑑賞（ユーザによるリマスタリング）など多岐にわたる応用が可能である他，混合信号の中の潜在的な因子を解析する技術として，学術的にも極めて重要である．研究実施1年目では，マルチチャネル信号を対象とした極めて効率的な教師無し音源分離アルゴリズムを新たに提案しており，トップ国際会議への採択や当該成果に関する受賞等から，その学術的な価値が認められつつある．2年目では，2年目で提案したマルチチャネル音源分離手法の数理的なメカニズム（音源の周波数構造を捉える機構及び空間的な伝達系を捉える機構）を詳しく解析し，トイモデルを用いて従来のstate-of-the-artな手法（独立ベクトル分析）からの数理的な拡張である事実を明確に示した．この成果は1年目の成果とまとめて国際論文誌に掲載されている．また，異なるアプローチである教師ありの音源分離手法として，分離対象音源固有の周波数構造を捉えられるように教師情報（音源固有のスペクトル構造）を変形・適応することで，より高精度なモノラル音源分離を実現する手法を新たに提案している．3年目では，2年目の教師あり音源分離手法の成果を国際会議へ投稿し，発表している．また，1年目の成果であるマルチチャネル音源分離に対しても活用できるアルゴリズムとして，基盤技術となる非負値行列因子分解の効率的な変数初期値決定法を新たに提案し，国際会議で発表している．

本研究的最终目标是构建声音媒体的增强现实系统（声音AR系统），并发展鲁棒的无监督和有监督声源分离技术以及多通道信号的基础理论。此类声源分离技术可应用于广泛的应用，包括助听器等人类支持设备、高度逼真的声场再现技术、主动聆听现有音乐（由用户重新录制）以及作为分析体内潜在因素的技术，它在学术上也极其重要。在第一年的研究中，我们提出了一种新的极其高效的多通道信号无监督声源分离算法，其学术价值已通过国际顶级会议的接受得到证明，并且该成果正在获得认可。第二年，我们详细分析了第二年提出的多通道声源分离方法的数学机制（捕捉声源频率结构的机制和捕捉空间传递系统的机制），并使用了一个玩具模型分析第二年提出的多通道声源分离方法的数学机制，清楚地证明了这是最先进方法（独立矢量分析）的数学扩展。这些结果已与第一年的结果一起发表在国际期刊上。此外，作为一种不同的方法的监督声源分离方法，通过对监督信息（声源特有的频谱结构）进行变换和适应，从而捕获待分离声源特有的频率结构，我们可以实现更准确的单声道声源分离。我们提出了一种新方法来实现这一点。第三年，第二年的有监督声源分离方法的结果被提交并在国际会议上展示。此外，我们提出了一种新的高效的非负矩阵分解变量初值确定方法，这是基础技术，作为可用于多通道声源分离的算法，这是第一年的成果，并提出了我正在一个国际会议上这样做。

项目成果

Determined Blind Source Separation Unifying Independent Vector Analysis and Nonnegative Matrix Factorization

• DOI: 10.1109/taslp.2016.2577880
• 发表时间: 2016-09-01
• 期刊: IEEE-ACM TRANSACTIONS ON AUDIO SPEECH AND LANGUAGE PROCESSING
• 影响因子: 5.4
• 作者: Kitamura, Daichi;Ono, Nobutaka;Saruwatari, Hiroshi
• 通讯作者: Saruwatari, Hiroshi

スパース時系列正則化に基づく独立低ランク行列分析を用いたブラインド音源分離

基于稀疏时间序列正则化的独立低秩矩阵分析盲源分离

• 发表时间: 2016
• 作者: 三井祥幹;北村大地;高道慎之介;猿渡洋
• 通讯作者: 猿渡洋

独立低ランク行列分析と統計的音声強調を用いた柔軟索状ロボットにおけるブラインド音源分離システムの開発

使用独立低秩矩阵分析和统计语音增强开发软线机器人中的盲声源分离系统

• 发表时间: 2017
• 作者: 三井祥幹;溝口聡;猿渡洋;越智景子;北村大地;小野順貴;石村大;前成美;高草木萌;松井裕太郎;山岡洸瑛;牧野昭二
• 通讯作者: 牧野昭二

Music signal separation using supervised NMF with all-pole-model-based discriminative basis deformation

使用基于全极模型判别基础变形的监督 NMF 进行音乐信号分离

• 发表时间: 2016
• 作者: Hiroaki Nakajima;Daichi Kitamura;Norihiro Takamune;Shoichi Koyama;Hiroshi Saruwatari;Nobutaka Ono;Yu Takahashi;and Kazunobu Kondo
• 通讯作者: and Kazunobu Kondo

時変な全極モデルを用いた基底変形型教師ありNMFによる音楽信号分離

使用时变全极点模型的基础变形类型监督 NMF 的音乐信号分离

• 发表时间: 2016
• 作者: 中嶋広明;北村大地;高宗典玄;小山翔一;猿渡洋;小野順貴;高橋祐;近藤多伸
• 通讯作者: 近藤多伸