Computational Auditory Scene Analysis Using Active Audio-Visual Integration in a Dynamically Changing Environment

在动态变化的环境中使用主动视听集成进行计算听觉场景分析

• 批准号: 22700165
• 负责人: NAKADAI Kazuhiro
• 金额: $ 2.58万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2010
• 资助国家: 日本
• 起止时间: 2010 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22700165/
• 关键词: センサ融合; 統合(ロボット聴覚,アクティブ視聴覚統合,アクティブ聴覚,視聴覚音声認識,視聴覚発話区間検出); ロボット聴覚; アクティブ視聴覚統合; アクティブ聴覚; 視聴覚音声認識; 視聴覚発話区間検出; 視聴覚統合; 音声認識; 発話区間検出; 音源同定; 雑音抑圧; ソフトウェアアーキテクチャ; 信頼度付特徴量

A framework for Audio-Visual Integration (AVI), which can provide optimal integration according to quality of audio and visual information obtained from a robot’s camera and microphone, was proposed and implemented. In addition, the proposed framework was extended by proposing “Active Audio Visual Integration (AAVI)”, which improves the quality of audio and visual information using active robot ’ s motion. Preliminary experiments on automatic speech recognition and voice activity detection showed that the AAVI framework worked effectively even in visually and/or auditorily noisy conditions.

提出并实现了视听集成（AVI）框架，该框架可以根据从机器人摄像头和麦克风获得的音频和视觉信息的质量提供最佳集成。此外，通过提出“主动音频”对所提出的框架进行了扩展。视觉集成（AAVI）”，利用主动机器人的运动来提高音频和视觉信息的质量。自动语音识别和语音活动检测的初步实验表明，AAVI 框架即使在视觉和/或听觉方面也能有效工作。嘈杂的环境。

项目成果

Active Audio-Visual Integration for Voice Activity Detection based on A Causal Bayesian Network

基于因果贝叶斯网络的主动视听集成语音活动检测

• 发表时间: 2012
• 作者: Takami Yoshida;Kazuhiro Nakadai
• 通讯作者: Kazuhiro Nakadai

Assessment of General Applicability of Ego Noise Estimation-Applications to Automatic Speech Recognition and Sound Source Localization-

自我噪声估计的一般适用性评估-在自动语音识别和声源定位中的应用-

• 发表时间: 2011
• 作者: G. Ince;K. Nakamura;F. Asano;H. Nakajima;K. Nakadai
• 通讯作者: K. Nakadai

Audio-visual speech recognition system for a robot

机器人视听语音识别系统

• 发表时间: 2010
• 作者: T. Yoshida;K. Nakadai
• 通讯作者: K. Nakadai

ロボット聴覚のための2階層視聴覚情報統合を用いた音声認識システムの検討

基于两层视听信息集成的机器人听觉语音识别系统研究

• 发表时间: 2011
• 期刊: 日本ロボット学会誌
• 作者: 吉田尚水;中臺一博;奥乃博
• 通讯作者: 奥乃博

SLAM-based Online Calibration for Asynchronous Microphone Array

基于SLAM的异步麦克风阵列在线校准

• DOI: 10.1080/01691864.2012.728690
• 发表时间: 2012
• 期刊: Advanced Robotics
• 影响因子: 2
• 作者: H. Miura;T. Yoshida;K. Nakamura;K.Nakadai
• 通讯作者: K.Nakadai