スパース信号分解に基づく多次元音響メディア情報処理及びその音拡張現実感への応用

基于稀疏信号分解的多维音频媒体信息处理及其在音频增强现实中的应用

• 批准号: 14J10796
• 负责人: 北村 大地
• 金额: $ 1.79万
• 依托单位: The Graduate University for Advanced Studies
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-25 至 2017-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J10796/
• 关键词: 音源分離; 音メディア信号処理; 非負値行列因子分解; 多チャネル; 音響信号処理; 独立成分分析; 多チャネル信号処理; アレー信号処理

本研究は，音メディアを対象とした拡張現実感システム（音ARシステム）の構築を最終的な目標としており，頑健に動作する教師無し及び教師あり音源分離技術の基礎的な理論構築及びマルチチャネル信号への拡張を行う．このような音源分離技術は，補聴器等の人支援デバイスや高臨場感音場再現技術，既存の音楽の能動的な鑑賞（ユーザによるリマスタリング）など多岐にわたる応用が可能である他，混合信号の中の潜在的な因子を解析する技術として，学術的にも極めて重要である．研究実施1年目では，マルチチャネル信号を対象とした極めて効率的な教師無し音源分離アルゴリズムを新たに提案しており，トップ国際会議への採択や当該成果に関する受賞等から，その学術的な価値が認められつつある．2年目では，2年目で提案したマルチチャネル音源分離手法の数理的なメカニズム（音源の周波数構造を捉える機構及び空間的な伝達系を捉える機構）を詳しく解析し，トイモデルを用いて従来のstate-of-the-artな手法（独立ベクトル分析）からの数理的な拡張である事実を明確に示した．この成果は1年目の成果とまとめて国際論文誌に掲載されている．また，異なるアプローチである教師ありの音源分離手法として，分離対象音源固有の周波数構造を捉えられるように教師情報（音源固有のスペクトル構造）を変形・適応することで，より高精度なモノラル音源分離を実現する手法を新たに提案している．3年目では，2年目の教師あり音源分離手法の成果を国際会議へ投稿し，発表している．また，1年目の成果であるマルチチャネル音源分離に対しても活用できるアルゴリズムとして，基盤技術となる非負値行列因子分解の効率的な変数初期値決定法を新たに提案し，国際会議で発表している．

这项研究旨在建立一个针对声音媒体的增强现实系统（声音AR系统），并将建立无监督和监督的声音源分离技术的基本理论，该技术可靠地运行，并将其扩展到多通道信号。这种声音源分离技术可以以多种方式应用，例如人类支持设备，例如助听器，高度现实的感觉现场繁殖技术以及对现有音乐的积极观看（用户的重新制作），并且在学术上也非常重要，作为分析混合信号中潜在因素的技术。在研究的第一年中，已经提出了一种新的，极其高效，无监督的声音分离算法的多通道信号，其学术价值已被公认为其在国际顶级会议上的采用和结果奖励。在第二年，我们分析了第二年提出的多通道声源分离技术的数学机制（捕获声源和空间传输系统频率结构的机制），并清楚地证明了它是从常规的最终触发方法（独立的矢量分析）中进行数学扩展的事实。这些结果在第一年的结果中发表在国际论文中。此外，作为一种不同的监督声源分离的方法，我们提出了一种新方法，通过转换和调整教师信息（声源的频谱结构）来实现更准确的单声道源分离，以便它可以捕获要分离的声源独特的频率结构。在第三年，第二年监督声源分离方法的结果被发布到国际会议上并介绍。此外，作为一种可用于多通道声源分离的算法，这是第一年的结果，我们提出了一种新方法，用于有效的非负矩阵因子化，这是基础技术，这是基础技术，并在国际会议上介绍了它。

项目成果

Determined Blind Source Separation Unifying Independent Vector Analysis and Nonnegative Matrix Factorization

• DOI: 10.1109/taslp.2016.2577880
• 发表时间: 2016-09-01
• 期刊: IEEE-ACM TRANSACTIONS ON AUDIO SPEECH AND LANGUAGE PROCESSING
• 影响因子: 5.4
• 作者: Kitamura, Daichi;Ono, Nobutaka;Saruwatari, Hiroshi
• 通讯作者: Saruwatari, Hiroshi

独立低ランク行列分析と統計的音声強調を用いた柔軟索状ロボットにおけるブラインド音源分離システムの開発

使用独立低秩矩阵分析和统计语音增强开发软线机器人中的盲声源分离系统

• 发表时间: 2017
• 作者: 三井祥幹;溝口聡;猿渡洋;越智景子;北村大地;小野順貴;石村大;前成美;高草木萌;松井裕太郎;山岡洸瑛;牧野昭二
• 通讯作者: 牧野昭二

スパース時系列正則化に基づく独立低ランク行列分析を用いたブラインド音源分離

基于稀疏时间序列正则化的独立低秩矩阵分析盲源分离

• 发表时间: 2016
• 作者: 三井祥幹;北村大地;高道慎之介;猿渡洋
• 通讯作者: 猿渡洋

Music signal separation using supervised NMF with all-pole-model-based discriminative basis deformation

使用基于全极模型判别基础变形的监督 NMF 进行音乐信号分离

• 发表时间: 2016
• 作者: Hiroaki Nakajima;Daichi Kitamura;Norihiro Takamune;Shoichi Koyama;Hiroshi Saruwatari;Nobutaka Ono;Yu Takahashi;and Kazunobu Kondo
• 通讯作者: and Kazunobu Kondo

時変な全極モデルを用いた基底変形型教師ありNMFによる音楽信号分離

使用时变全极点模型的基础变形类型监督 NMF 的音乐信号分离

• 发表时间: 2016
• 作者: 中嶋広明;北村大地;高宗典玄;小山翔一;猿渡洋;小野順貴;高橋祐;近藤多伸
• 通讯作者: 近藤多伸