聴覚シーン形成メカニズムに基づく計算機聴覚についての研究

基于听觉场景形成机制的计算听力研究

• 批准号: 15650053
• 负责人: 黄 捷
• 金额: $ 1.41万
• 依托单位: The University of Aizu
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15650053/
• 关键词: Perceptual organization of sound; Human audition; Auditory scene analysis; Precedence effect; Cocktail party effect; 聴覚シーン解析; 聴覚シーン形成要因; 聴覚モデル; 時間周波数分析; 環境音分析; ストリーミング分離抽出; 環境ロボスト性

我々の日常環境は多くの音響イベントが混在する。いかに特定のストリーミングを分離抽出し、選択的に聞くことができるか、また反響の影響をいかに排除するか。このような聴覚処理のモデルが構築できれば、高いレベルの環境ロバスト性を備えるので、実際の応用において非常に役に立つと期待できる。これらの問題を解決するために、ボトムアップのアプローチでは2音響成分を用いた心理学実験を通じて、それぞれの要因の総合的な量的関係の解明を試みた。その結果、2成分音脈分凝の時間のずれが調波構造の有無によって約20msから40msに増えることが分かった。また、倍音関係からのずれの度合いも音脈分凝の要因になることが確かめられた。周波数変調相違の影響は5000Hzまでで、調波構造がある場合は約50Hzのずれ、調波構造がない場合は周波数の約10倍のずれで音脈分凝の要因となることが分かった。周波数距離の要因について低周波数成分の約5倍の開きが必要であることも明らかになった。一方、反響を加えた時のそれぞれの分離・統合要因がどう影響を受けるかについても擬似インパルス応答を発生させて反響を加えて心理実験で影響を調べた。その結果、倍音関係、周波数変調、振幅変調の影響のいずれも減少することがわかったが、量的な関係を判断するためにはさらにいろんな状況で調べる必要があるので、今後の研究に期待するところである。また、先行音効果の反響予測を基にした反響回避モデルを提案した。計算機シミュレーションにより評価を行い2クリック音、Hass効果、Franssen効果を矛盾なく説明できたので、音響設計への応用が期待できる。トップダウンのアプローチとしては環境音の特徴をスペクトルとパワーの時間パターンとしてとらえ、多層ニューラルネットワークを用いて認識の試みを行い、45種類の異なる環境音について約90%の認識率が得られた。また、両耳聴現象のカクテルパーティ効果は両耳間の相関関係が重要であるため、独立成分分析の視点から音源分離を試み、実環境でのストリーム分離についても研究を行った。参考文献は本研究関連の論文をまとめてあげた。

我们的日常环境是许多声学事件的混合体。如何分离和提取特定的流并有选择地倾听它们，以及如何消除回声的影响。如果可以构建这样的听觉处理模型，则可以预期它在实际应用中非常有用，因为它具有很高的环境鲁棒性。为了解决这些问题，自下而上的方法试图通过使用两个声学成分进行心理实验来阐明每个因素之间的全面定量关系。结果，发现两个组分声音脉动的时间偏差从大约20 ms增加到40 ms，具体取决于存在或不存在谐波结构。还证实，与叠音关系的偏差程度也有助于声音的凝结。发现频率调制差的效果高达5000 Hz，当存在谐波结构时，偏差约为50 Hz，当没有谐波结构时，频率的偏差约为10倍，这可能会导致声音脉冲凝结。还已经揭示了频率距离因子的间隙约为低频组件的五倍。另一方面，我们还研究了通过产生伪冲压反应并增加混响以研究心理实验中的效果时，我们还研究了每个分离和整合因子的影响。结果，发现谐波关系，频率调制和振幅调制的影响都下降了，但是在各种情况下需要进一步研究以确定定量关系，因此我们期待未来的研究。我们还提出了一个基于回声预测提前声音效应的回声避免模型。使用计算机模拟进行评估，以解释两关键的声音，HASS效果和弗朗森效应而没有任何矛盾，因此可以预期将其应用于声学设计。自上而下的方法是将环境声音的特征视为光谱和功率的时间模式，并使用多层神经网络识别它们，对于45种不同类型的环境声音，获得了大约90％的识别率。此外，由于两只耳朵之间的相关性在双耳聆听现象的鸡尾酒会效应中很重要，因此我们试图从独立组件分析的角度分离声音来源，并在真实环境中对流分离进行了研究。参考文献与本研究有关的论文编辑。

项目成果

Y.Futamura: "Influence of Echoes and Reverberations on Perceptual Organization of Sound in Human Audition"The University of Aizu, 2003 Graduation Thesis. 1-6 (2004)

Y.Futamura：“回声和混响对人类听觉中声音感知组织的影响”会津大学，2003 年毕业论文。

H.Sato, J.Huang: "Investigating the quantitative factors for sound integration and segregation in human audition"Proc.9^<th> Australian Int.Conf.Speech Science and Technology. (2002)

H.Sato、J.Huang：“研究人类听觉中声音整合和分离的定量因素”Proc.9^<th>澳大利亚国际会议语音科学与技术。

Investigating the quantitative factors for sound integration and segregation in human audition

研究人类听觉中声音整合和分离的定量因素

• 发表时间: 2002
• 期刊: Proc.9^<th> Australian Int.Conf.Speech Science and Technology
• 作者: H.Sato;J.Huang
• 通讯作者: J.Huang

Computational implementation and evaluation for the echo-avoidance model of the precedence effect

优先效应回声避免模型的计算实现与评估

• 发表时间: 2004
• 期刊: Pro.23^<rd> IASTED Int.Conf.Modeling, Identification, and Control
• 作者: J.Huang;Y.Utsuno;S.Ding
• 通讯作者: S.Ding

S.Ding, J.Huang: "Recursive approach for real-time blind source separation of acoustic signals"Proc.Knowledge-Based Intelligent Information and Engineering System (Lecture Notes in Artificial Intelligence). 1455-1462 (2003)

S.Ding，J.Huang：“声学信号实时盲源分离的递归方法”Proc.基于知识的智能信息与工程系统（人工智能讲义）。