CCDカメラマイクロフォンの実現に関する研究

CCD摄像麦克风的实现研究

基本信息

批准号：
08875074
负责人：
長谷川孝明
金额：
$ 1.34万
依托单位：
Saitama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Exploratory Research
财政年份：
1996
资助国家：
日本
起止时间：
1996 至 1997
项目状态：
已结题

项目摘要

通常のマイクロフォンが空気の振動としての音声を入力とし、音声の電気信号を出力とするのに対し、本研究はCCDカメラによる口唇及び舌の動画像情報を入力信号とし、ニュートラルネットやその他の信号処理により音声信号を出力とするものである。これまでに声道の伝達関数を口唇付近の動画像から推定し、適当な励振源で励振し、出力音声信号を合成する方式を提案している。本CCDカメラマイクロフォンは口唇付近の画像による音声認識・合成とは異なり、声道の伝達関数から出力音声信号を合成するため、認識合成系と異なり言語に依存しないという特徴を持つ。すでに基礎的実験を開始し、母音の合成にはほぼ成功していた。しかしながら、コミュニケーションシステムとして見た場合、子音に対応させることが急務であった。そこで平成8年度は、子音に対応させるための手法を検討した。まず、従来のシステムの子音に対応できない主な理由のうち以下の三点を改善することで有声子音の一部に対応が可能となった。(1)画像フレーム間における口唇特徴量の値の時間的変化を考慮した声道の伝達関数の推定精度の向上(2)子音を特徴づけるための口唇特徴量の追加による推定精度の向上(3)調音結合を考慮した学習データセットの構成による性能向上。しかしながら、(1)全子音への対応は不十分で、また声道断面積関数の小さな部分の存在する場合は合成音が不安定になることがある。(2)中国語への適用には子音を中心に再検討の必要がある。(3)意思伝達システムとしての性能評価が必要。の三点が問題点として残り、平成9年度はこれらを中心に検討を進めた。(1)については声道断面積関数を介さず,画像の特徴量から直接声道の伝達関数に写像することで非線形変換を処理から減らし、かなりの改善が見られることがわかった。小規模な定量化の実験は終わっているが、大規模な実験は(3)を含め現在進行中である。(2)についても中国語独特の四声についての対応のシステムを構築中である。以上、性能評価の定量化にはもう少し時間がかかるが、コミュニケーションシステムとしての可能性は示唆された。

普通麦克风以空气振动的形式输入声音并输出声音的电信号，而本研究使用来自CCD相机的嘴唇和舌头的运动图像信息作为输入信号，并使用中性网和其他信号作为输入信号进行处理。输出音频信号。到目前为止，我们已经提出了一种方法，其中从嘴唇附近的运动图像估计声道的传递函数，用适当的激励源激励，并将其合成为输出语音信号。与识别/合成系统不同，该CCD摄像头麦克风从声道的传递函数合成输出音频信号，不像识别/合成基于嘴唇附近的图像，因此它具有不依赖于语言的特点，不像识别/合成系统。他们已经开始了基础实验，并且几乎成功合成了元音。然而，当作为一种通信系统时，迫切需要使其与辅音兼容。因此，1996年，我们研究了一种方法，使其与辅音相对应。首先，通过改进传统系统无法处理辅音的以下三个主要原因，使得处理一些浊辅音成为可能。（1）通过考虑图像帧之间嘴唇特征值的时间变化来提高声道传递函数的估计精度（2）通过添加嘴唇特征来表征辅音来提高估计精度（3））通过以下方式提高性能配置考虑发音耦合的训练数据集。然而，(1)对所有辅音的支持不够，如果有一小部分声道截面积函数存在，合成的声音可能会变得不稳定。 (2)适用于汉语需要重新审查，重点是辅音。 (3)作为通信系统的性能评估是必要的。这三点仍然是问题，1997年我们重点关注这些问题。关于（1），我们发现通过直接将图像特征映射到声道传递函数而不使用声道横截面积函数，我们能够减少处理中的非线性变换，从而获得相当大的改进。虽然小规模的定量实验已经完成，但包括（3）在内的大规模实验目前正在进行中。对于（2），我们目前正在构建一个系统来处理汉语特有的四声。如上所述，虽然量化性能评估需要一些时间，但已经表明它具有作为通信系统的潜力。