CCDカメラマイクロフォンの実現に関する研究

CCD摄像麦克风的实现研究

• 批准号: 06855038
• 负责人: 長谷川 孝明
• 金额: $ 0.58万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1994
• 资助国家: 日本
• 起止时间: 1994 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-06855038/
• 关键词: 画像音声変換; 画像入力マイクロフォン; CCDカメラマイクロフォン; 音声合成; ヒューマンコミュニケーション; ヒューマンマシンインターフェース; 発声補助; ヒューマンマシン通信

通常のマイクロフォンが音声入力,音声信号出力であるのに対し,本研究ではCCDカメラによる口唇および舌の画像情報入力,音声信号出力のマイクロフォンシステムの構築に目的があった.本システムは,大きな環境雑音下の音声も画像入力という本質的に異なった媒体により大雑音の分離が可能となるほか,実際の発声をしなくても音声信号が送れるという本質的な秘話機能や声帯に障害を持つ人の発声代替機能も持つ.昨年度までに本報告者が考案した2種のアナログ型構成法,すなわち,(1)直接法(口唇および舌の画像情報をニューラルネットを介し直接音声スペクトルに写像する方法)と(2)伝達関数法(口及び舌の画像情報から声道の伝達関数を求め適当な音源と伝達関数から音声の合成を行う方法)の中でも,後者を中心に基礎システムの構築と実験を行った。これまでに得た結果をまとめる.まず,動画像から音声への変換を日本語5母音を基にシステムを構成した.具体的には伝達関数と対応する声道断面積関数を通し,画像情報からの音声信号化システムを構成した.本システムは日本語5母音を音に構成したシステムであるが,英語の3母音も合成可能であり,また,繰り返しの聴取テストの結果聴取率の向上から発声不能者の発声代替システムとしての可能性も示してきたが,子音への対応ががほとんどできていなかった.本年度は子音への適用に的を絞り検討を行った.特に子音の内,有声破裂音についての検討を行った.まず,子音の速い動きに対応するために動画像からの口唇輪郭抽出法の改善を行い,大幅な動き追従特性の向上を得た.次に,従来1フレームの口唇特徴量を同じ1フレームの声道断面積に重回帰分析によって対応づけていた方法を,2フレームの口唇特徴量を1フレームの声道断面積にニューラルネットによって写像する方法に改善することにより声道断面積関数の推定精度の大幅な向上を得た.その後に,子音の聴取テストを行った.その結果従来システムではほとんど不可能だった子音の聴取効率が大幅に向上した.今後,他の子音処理の改善の後にCCDカメラマイクロフォンの実現の可能性が十分あることが分かった.

虽然普通麦克风是音频输入和音频信号输出，但该研究旨在构建麦克风系统，用于使用CCD摄像头输入嘴唇和舌头的图像信息。该系统还允许通过本质上不同的媒体（例如图像输入）将大噪声分开，并且还具有基本上不止值的秘密功能，可以在不实际发言的情况下传输语音信号，并为有声带障碍的人提供语音更换功能。 The two analog-type construction methods that were devised by the present reporter up until last year, namely (1) direct method (a method of directly mapping image information of lips and tongues directly onto a speech spectrum via a neural network) and (2) transfer function method (a method of finding the transfer function of the vocal tract from image information of mouth and tongues, and synthesizing speech from an appropriate sound source and transfer function), we focused on the latter.我们总结了到目前为止获得的结果。首先，我们构建了将视频图像转换为基于五个日本元音的语音的系统。具体而言，我们构建了一个系统，用于通过传递传输函数和相应的人声横截面函数将视频图像转换为来自图像信息的语音信号。该系统是一个由五个日本元音作为声音组成的系统，但是可以将三个英语元音组合起来，并且由于听力率的提高，我们还显示了为无声者替换系统的可能性，但我们几乎没有对辅音做出响应。今年，我们专注于对辅音的应用。我们特别研究了辅音的声音弹出声音。首先，我们检查了辅音的快速运动。作为响应，我们从移动图像中改善了唇轮廓提取方法，并在运动跟踪特性方面取得了重大改进。接下来，我们通过多重回归分析改进了将一个框架的唇形特征映射到同一框架的人声横截面区域的方法，并使用神经网绘制两个框架的嘴唇特征将两个框架的唇形特征映射到一个框架的跨截面区域，从而在估计声带横截面区域的估计准确性方面具有重大改进。之后，我们进行了辅音听力测试。结果，传统系统几乎不可能的辅音聆听的聆听效率得到了极大的提高。将来，发现在改进其他辅音处理后，有很大的可能性可以实现CCD摄像机麦克风。