視覚による表情変化の実時間認識とその読唇への応用

面部表情变化的视觉实时识别及其在唇读中的应用

• 批准号: 06212203
• 负责人: 井上 博允
• 金额: $ 1.02万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1994
• 资助国家: 日本
• 起止时间: 1994 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-06212203/
• 关键词: 読唇; 画像認識; 音声認識; テンプレートマッチング; 相関値; 平面配置; 並列処理; ニューラルネットワーク; 読唇; 画像認識; 音声認識; テンプレートマッチング; 相関値; 平面配置; 並列処理; ニューラルネットワーク

本年度の研究では,昨年度まで行なってきた相関値による顔の確認の応用として,読唇を行なった.処理の原理は,相関値を用いて個々の入力画像を平面上にマッピングし,その(x,y)座標値をニューラルネットの入力として用いて判別を行なった.昨年度の実験から,母音の認識は可能であるとの結果を得ていたが,本年度は,いくつかの子音(b,m,p)の認識と,さらに実時間(ビデオレート)の認識に成功した.実時間化にあたっては,トランスピュータ4台による並列処理を行ない,画像追跡,相関計算,平面配置処理をパイプライン化することで,達成できた.平面配置計算はその内部に反復計算を含むが,より初期値を与えることでその反復回数を大幅に削減できる.処理の高速化によって,口唇の動きを連続的に把握できるようになったため,前回の配置結果を次の初期値とすることで,さらなる高速化が可能になった.また,テンプレートを平面配置した結果として,相互の関係が明らかになるため,類似したテンプレートをはぶくことで,相関値計算も高速化できた.認識精度については,話者や照明条件への依存性が高いものの,母音だけであれば80%程度,子音ひとつを含んだ場合には60%程度の成績を得ている.3年間の研究によって,表情や口唇など不定型な対象の認識に対しては,テンプレートマッチングを拡張した相関値による配置方式が有力となることが示せたと考えている.

在今年的研究中，唇读是作为使用相关值确认面孔的应用，该应用已于去年进行。处理的原理是使用相关值将单个输入图像映射到平面上，并且（x，y）坐标值用作神经网络的输入。去年的实验表明，元音识别是可能的，但是今年，我们成功地认识了几种辅音（B，M，P），并且也认可了实时（视频速率）。实时，我们能够通过使用四个变速器和管道图像跟踪，相关计算和平面布置处理进行并行处理来实现这一目标。平面布置计算中包括迭代计算，但是通过给出初始值，重复迭代计算。次数可以大大减少。通过加速处理，现在可以连续掌握嘴唇的运动，并通过将先前的布局结果设置为以下初始值，从而进一步加速。此外，由于将模板放置在平面上，彼此之间的关系被揭示出来，因此也可以通过拼接相似的模板来增加相似的模板。尽管识别精度高度取决于扬声器和照明条件，但单独元音的结果约为80％，1辅音的元音约为60％。三年的研究表明，具有扩展模板匹配的相关方法可能有效地识别不规则的物体，例如面部表情和嘴唇。