音声および顔情報の融合解析に基づく対話型人物認識システムに関する研究

基于语音与面部信息融合分析的交互式人物识别系统研究

基本信息

批准号：
06780358
负责人：
松村雅史
金额：
$ 0.64万
依托单位：
Osaka Electro-Communication University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1994
资助国家：
日本
起止时间：
1994 至无数据
项目状态：
已结题

项目摘要

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、複数の視覚センサと音響センサを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。研究成果は以下の通りである。1.視聴覚融合センシングシステムの開発:端末に複数のビデオカメラとマイクロホンを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法はマイクロホンと音源との距離の差に伴う信号の位相差をマイクロホン信号の相互相関関数より推定し、音源位置を同定する。端末から50cm離れた音源位置を誤差2.4cm以内で推定することに成功した。次に音源位置が既知である場合、周囲雑音を含むマイクロホン信号から音源信号を抽出する適応フィルタを開発し、周囲雑音中より話者の発生音抽出のS/Nを向上させた。2.カラー顔画像による口唇位置の推定:カラー顔画像より口唇の位置を推定する手法を提案した。本手法では口唇が肌の色より赤みがかっている点に着目し、カラー顔画像のHSI変換により口唇部の位置を推定する。被験者6名の顔画像を用いて口唇位置推定実験を行った結果、100%の識別結果が得られた。3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む声道形状の精密測定に初めて成功し、摩擦子音声時の声道形状データを得ることができた。また、子音の明瞭度を決定する舌-口蓋接触面の垂直応力の計測に成功した。さらに声道及び鼻腔の音響特性を推定し、実音声の分析結果と一致すること、このような音声生成過程の解析より得られた特徴量が、個人識別に有効なパラメータであることを示した。

在这项研究中，研究的目的是开发一种系统，以高度或有选择性地提取语音时的个人特征和面部特征，以识别操作终端的人。具体而言，研究的目的是开发具有多个视觉传感器和声传感器的受众传感系统，并根据语音生成过程的分析提取个人信息。研究结果如下。 1。视听融合传感系统的开发：开发一个视听融合传感系统，并在终端上具有多个摄像机和麦克风。首先，我们开发了一种使用四个麦克风估算声源（LIP）位置的方法。在这种方法中，根据麦克风信号的相互关联关节函数估计信号引起的信号的相位差，并确定了声源位置。距端子50厘米的声源位置成功地估计了2.4 cm的误差。接下来，如果知道声源位置，则会开发出从包含周围噪声的麦克风信号中提取声源信号的自适应滤波器，并从周围的噪声中提高了扬声器扬声器的S/N。 2。嘴唇的颜色面图像估计：提出一种估算颜色面图像的唇部位置的方法。在这种方法中，嘴唇比肤色更红，嘴唇的位置是通过颜色面部图像的HSI转换来估计的。由于使用六个受试者的面部图像估算唇部位置的实验，获得了100％的识别结果。 3.基于音频生成过程的分析的个人信息提取：磁共振视频方法（MRI）成功地测量了包括皇冠在内的人声形状，并在摩擦声音时获得声音数据。我能够做到。此外，它成功地测量了舌头的垂直应力和确定辅音清晰度的中央接触表面。此外，估计了声音和鼻腔的声音特征，它表明对实际声音的分析，并且从这种音频生成过程的分析中获得的特征是一个有效的参数。