口話を併用する音声認識

使用口语进行语音识别

基本信息

批准号：
62608505
负责人：
田村進一
金额：
$ 0.64万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1987
资助国家：
日本
起止时间：
1987 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-62608505/
关键词：
音声認識画像処理口形特徴 DPマッチング LPC係数 X-Yトラッカ口話

项目摘要

音声認識は実用化の域に達しつつあるが, 雑音の多い環境下での使用が困難であること, 類似音(とくに子音)の判別が依然難しいという問題がある. この問題を克服するため, 本研究では, 音声信号だけでなく唇の動きの情報も併用して音声認識を行なった.1.口形特徴の抽出単語を発生している時のビデノ画像から, 口の幅や高さなどの口形特徴が抽出された. このとき, 歯を含めた場合と含めない場合の2つに分けて処理を行なった.2.音声特徴・口形特徴併用による音声認識研究のステップの都合上, この場合の口形特徴は安定して求めることのできるX-Yトラッカを使用した.音声は4KH_2, 12ビットでサンプルされ, 12次までのLPCケプストラム係数およびLPC係数が各24次まで拡張され, 各0次を加えた50次元特徴と登録データ間の非線形時間伸縮を考慮した距離がDP法により計算された.一方, 話者の前方右約60度の位置に置いたX-Yトラッカ・カメラにより, 下唇の上下の動き, 前後の突き出し量が1/60秒毎に計測された. これらの特徴と登録データとの間の距離も同様に計算された.これらの二つの距離の重み和で単語の識別を行なった. 類似した10単語(KAMAやKANAなど)の認識率は, 音声特徴のみの場合84%, 音声特徴に口形特徴を加えた場合は90%に向上した.3.今後の課題口形特徴の効率的抽出法および音声特徴と口形特徴を合わせてDPマッチングを行なう方式を開発したい.

语音识别变得越来越实用，但是在嘈杂的环境中很难使用，并且仍然很难区分类似的声音（尤其是辅音）。为了克服这个问题，在这项研究中，不仅使用语音信号，而且还使用有关唇部运动的信息进行语音识别。1。当提取嘴巴特征时产生单词时，从视频图像中提取了口腔形状，例如口腔宽度和高度。目前，该过程分为两类：有或没有牙齿。2。由于语音识别研究的步骤使用了语音形状的特征和口形特征的组合，因此在这种情况下，使用X-Y跟踪器稳定地确定了口形特征。将语音在4KH_2、12位采样，LPC CEPSTRUM系数和LPC系数最高为第12阶，扩展到第24阶。考虑到注册数据之间的非线性时间扩展和收缩，使用DP方法计算50维特征与注册数据之间的50维特征与注册数据之间的距离。另一方面，每1/60秒钟，使用X-Y跟踪器摄像机每1/60秒测量下唇的运动和前后的突起，位于扬声器右侧约60度。这些功能与注册数据之间的距离类似。使用这两个距离的权重总和来识别单词。仅语音功能，将10个相似单词的识别率提高到84％，而添加到语音功能的语音功能的90％。 3。未来的任务，我想开发一种有效的方法来提取口腔功能，并通过结合语音功能和口腔功能来提取DP匹配的方法。