口話を併用する音声認識

使用口语进行语音识别

基本信息

批准号：
62608505
负责人：
田村進一
金额：
$ 0.64万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1987
资助国家：
日本
起止时间：
1987 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-62608505/
关键词：
音声認識画像処理口形特徴 DPマッチング LPC係数 X-Yトラッカ口話

项目摘要

音声認識は実用化の域に達しつつあるが, 雑音の多い環境下での使用が困難であること, 類似音(とくに子音)の判別が依然難しいという問題がある. この問題を克服するため, 本研究では, 音声信号だけでなく唇の動きの情報も併用して音声認識を行なった.1.口形特徴の抽出単語を発生している時のビデノ画像から, 口の幅や高さなどの口形特徴が抽出された. このとき, 歯を含めた場合と含めない場合の2つに分けて処理を行なった.2.音声特徴・口形特徴併用による音声認識研究のステップの都合上, この場合の口形特徴は安定して求めることのできるX-Yトラッカを使用した.音声は4KH_2, 12ビットでサンプルされ, 12次までのLPCケプストラム係数およびLPC係数が各24次まで拡張され, 各0次を加えた50次元特徴と登録データ間の非線形時間伸縮を考慮した距離がDP法により計算された.一方, 話者の前方右約60度の位置に置いたX-Yトラッカ・カメラにより, 下唇の上下の動き, 前後の突き出し量が1/60秒毎に計測された. これらの特徴と登録データとの間の距離も同様に計算された.これらの二つの距離の重み和で単語の識別を行なった. 類似した10単語(KAMAやKANAなど)の認識率は, 音声特徴のみの場合84%, 音声特徴に口形特徴を加えた場合は90%に向上した.3.今後の課題口形特徴の効率的抽出法および音声特徴と口形特徴を合わせてDPマッチングを行なう方式を開発したい.

语音识别已达到实际应用阶段，但仍存在诸如在嘈杂环境中使用困难以及难以区分相似声音（尤其是辅音）等问题。为了克服这个问题，在本研究中，我们使用不仅是音频信号，还包括嘴唇运动信息 1. 在生成单词时从视频图像中提取嘴型特征。提取了嘴的宽度和高度等嘴形特征，此时处理分为包含牙齿时和不包含牙齿时两种情况。 2.利用语音特征和嘴部相结合的语音识别研究。形状特征由于这一步的方便，我们使用了X-Y跟踪器，可以稳定获取嘴形特征。音频以4KH_2、12位采样，将LPC倒谱系数扩展到12阶，并将LPC系数扩展到24阶，并使用DP方法计算注册数据与包含0阶的50维特征之间的距离。在受试者前方右60度处，每隔1/60秒测量下唇的垂直运动和前后突出量。以同样的方式计算这些特征和注册数据之间的距离。使用这两个距离的加权和来识别单词。10个相似单词（KAMA、KANA等）的识别率提高到84%仅使用特征时，在语音特征中添加口型特征时达到90％。3.未来问题我们将开发一种提取口型特征的有效方法以及一种使用语音特征和口型特征进行DP匹配的方法。来开发它。