口形を併用する音声認識と文理解

利用口型进行语音识别和句子理解

基本信息

批准号：
63608505
负责人：
田村進一
金额：
$ 0.83万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1987
资助国家：
日本
起止时间：
1987 至 1988
项目状态：
已结题

项目摘要

本研究は口形を音声認識の一つの有効な情報として用いることにより、音声認識の性能向上を図ろうとするものである。そのため、本年度は以下の各項目について研究を行った。1.ニューロネットワークによる口形併用音声認識母音を発声したときの口形画像および音声特徴を共に同一ニューロネットに入力し、五つの母音の認識実験を行った。特に不特定話者の音声に対して、音声情報のみによる場合の51%の認識率を口形と音声情報を組み合わせることにより79%に向上できた。2.エネルギー関数による口形輪郭の抽出口形輪郭は抽出しにくいことが多い。これは、不十分な輪郭情報しか画像内に存在しないことによる。このようなとき、先験的知識をエネルギー関数の形で表現し、不十分な輪郭情報から輪郭復元を行う正則化プロセスについて考案した。これにより、口紅等をつけない自然な状態のもとで、口形輪郭の抽出が可能となった。また、口唇運動の画像計測の可能性が確かめられた。高雑音下における口形併用音声認識の能力実用化の可能性を探るために、モーターの回転音など高騒音下における口形併用音声認識の能力について研究を行った。この場合、処理の高速化のため口形情報は45度前方からのX-Yトラッカーにより得た。雑音の影響により音声情報のみによる認識の正解率はかなりばらついている。特に、発音が近い単語の認識は強い雑音に乱され、認識がほとんどできない状態になっている。そのような状況において、口唇の画像情報を加味すると認識率の向上がはっきり見られた。

本研究旨在利用嘴形作为语音识别的有效信息来提高语音识别的性能。为此，今年我们开展了以下几项研究。 1.使用神经网络使用嘴形进行语音识别我们通过将发出元音时的嘴形图像和声音特征输入到同一神经网络中，进行了五个元音的识别实验。特别是，对于未指定说话者的声音，通过结合口型和音频信息，识别率从仅使用音频信息的51%提高到79%。 2.利用能量函数提取嘴形轮廓嘴形轮廓通常很难提取。这是由于图像中存在的轮廓信息不足。在这种情况下，我们设计了一种正则化过程，以能量函数的形式表达先验知识，并从不足的轮廓信息中恢复轮廓。由此，即使不涂口红等，也能够提取自然状态下的嘴型轮廓。此外，还证实了嘴唇运动图像测量的可能性。高噪声条件下的口型识别语音能力为了探索实际应用的可能性，我们对电机旋转声等高噪声条件下的口型语音识别能力进行了研究。在本例中，嘴形信息是使用 X-Y 跟踪器从前方 45 度角获取的，以加快处理速度。由于噪声的影响，仅基于音频信息的识别准确率差异较大。特别是对发音相似的单词的识别，会受到强烈噪音的干扰，几乎无法识别。在这种情况下，当考虑嘴唇的图像信息时，识别率明显提高。