CCDカメラマイクロフォンの実現に関する研究

CCD摄像麦克风的实现研究

基本信息

批准号：
08875074
负责人：
長谷川孝明
金额：
$ 1.34万
依托单位：
Saitama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Exploratory Research
财政年份：
1996
资助国家：
日本
起止时间：
1996 至 1997
项目状态：
已结题

项目摘要

通常のマイクロフォンが空気の振動としての音声を入力とし、音声の電気信号を出力とするのに対し、本研究はCCDカメラによる口唇及び舌の動画像情報を入力信号とし、ニュートラルネットやその他の信号処理により音声信号を出力とするものである。これまでに声道の伝達関数を口唇付近の動画像から推定し、適当な励振源で励振し、出力音声信号を合成する方式を提案している。本CCDカメラマイクロフォンは口唇付近の画像による音声認識・合成とは異なり、声道の伝達関数から出力音声信号を合成するため、認識合成系と異なり言語に依存しないという特徴を持つ。すでに基礎的実験を開始し、母音の合成にはほぼ成功していた。しかしながら、コミュニケーションシステムとして見た場合、子音に対応させることが急務であった。そこで平成8年度は、子音に対応させるための手法を検討した。まず、従来のシステムの子音に対応できない主な理由のうち以下の三点を改善することで有声子音の一部に対応が可能となった。(1)画像フレーム間における口唇特徴量の値の時間的変化を考慮した声道の伝達関数の推定精度の向上(2)子音を特徴づけるための口唇特徴量の追加による推定精度の向上(3)調音結合を考慮した学習データセットの構成による性能向上。しかしながら、(1)全子音への対応は不十分で、また声道断面積関数の小さな部分の存在する場合は合成音が不安定になることがある。(2)中国語への適用には子音を中心に再検討の必要がある。(3)意思伝達システムとしての性能評価が必要。の三点が問題点として残り、平成9年度はこれらを中心に検討を進めた。(1)については声道断面積関数を介さず,画像の特徴量から直接声道の伝達関数に写像することで非線形変換を処理から減らし、かなりの改善が見られることがわかった。小規模な定量化の実験は終わっているが、大規模な実験は(3)を含め現在進行中である。(2)についても中国語独特の四声についての対応のシステムを構築中である。以上、性能評価の定量化にはもう少し時間がかかるが、コミュニケーションシステムとしての可能性は示唆された。

虽然普通麦克风将声音用作空气的振动作为输入并输出音频的电信号，但本研究使用CCD摄像头使用嘴唇和舌头的视频信息作为输入信号，并使用中性网和其他信号处理来输出音频信号。到目前为止，我们提出了一种方法，其中从唇部附近的移动图像中估算了声带的传递函数，并用适当的激发源激发，并合成输出音频信号。与使用嘴唇附近的图像的语音识别和合成不同，此CCD摄像机麦克风结合了来自人声道传递功能的输出语音信号，因此与识别和合成系统不同，它具有不依赖语言的特征。基本实验已经开始，元音的合成几乎成功了。但是，当被视为通信系统时，迫切需要使其与辅音相对应。因此，在1996年，我们考虑了与辅音相对应的方法。首先，我们改善了以下三个主要原因，导致传统系统无法支持辅音，现在我们可以处理一些配音辅音。（1）考虑到图像框架之间唇部特征值的时间变化（2）通过添加唇形特征来提高估计的精度来提高估算值的时间变化，从而提高了辅音（3）通过构造训练数据集来提高估计的精度。但是，（1）与所有辅音的对应关系不足，当声带横截面区域功能的一小部分时，合成的声音可能会变得不稳定。（2）对中国的申请需要重新审查，重点是辅音。（3）需要评估作为通信系统。剩下的三个问题仍然存在，在1997年，我们专注于这些问题。对于（1），发现通过直接从图像的特征量映射到声带的传递函数而无需使用声带横截面函数，从而从处理中降低了非线性转换，并观察到显着改进。小规模的定量实验已经完成，但是目前正在进行大规模实验，包括（3）。关于（2），我们目前还建立了一个系统，用于响应四种声音，这些声音是中文所独有的。以上表明，量化绩效评估需要更长的时间，但其潜力作为通信系统。