発話動作を起点とした音声生成による代用発声技術の実現

根据语音动作生成语音实现替代语音技术

基本信息

批准号：
21K11965
负责人：
鏑木時彦
金额：
$ 2.66万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

情報技術による音声コミュニケーションの拡張のため、その基盤となる調音・音声データベースの拡充と、口唇動画からの音声合成システムの高度化に関する研究をおこなった。調音・音声データベースに関しては、発話時の声道全体の運動を観測し得るリアルタイムMRI（磁気共鳴画像）により、成人女性１名について音素バランス文（ATR503文）の観測実験を実施した。同観測手法により、これまで成人2名のデータ収集を完了しており、今回の測定実験によって当初目標とした3名分のデータ収集が完了する。従って、研究の進捗は当初の予定通りに進んでいる。リアルタイムMRIと同時に音声データの収録を行なっており、今後は撮像時のMRIノイズを除去する音声強調を施して、データセットとして完備する。口唇動画からの音声合成については、これまで収集してきた音声コーパスやベースとなる再帰型のディープニューラルネットワークを使用するとともに、このネットワークモデルの性能向上を目指してGAN（敵対的生成ネットワーク）の適用を検討し、日本音響学会において研究発表をおこなった。同時に、従来から用いてきた再帰的ネットワーク構造と非再帰的構造の比較をおこない、それらの特徴や性能を明らかにした。これらの研究結果は、日本音響学会九州支部の発表会において公表した。本研究の成果は、口唇動画という最小限の調音情報からでも、了解可能な音声を合成できることを示している。特に、調音情報にはピッチや有声・無声のような音源に関連した情報が含まれていないことから、口唇の動きに関する時系列データを手がかりとして、アクセントやイントネーションまでを再現できることは注目に値すると言える。

为了利用信息技术扩大语音交流，我们对扩展构成其基础的发音和语音数据库以及提高唇形视频语音合成系统的复杂性进行了研究。关于发音/言语数据库，我们使用实时MRI（磁共振成像）对一名成年女性进行了音素平衡句子（ATR503句子）的观察实验，可以观察言语过程中整个声道的运动。使用同样的观察方法，目前已经完成了两名成人的数据收集，而通过这次测量实验，也完成了最初目标的三名成人的数据收集。因此，研究进展正在按原计划进行。音频数据与实时 MRI 同时记录，将来我们将添加音频增强功能以消除成像过程中的 MRI 噪声并完成数据集。对于唇部视频的语音合成，我们使用迄今为止收集的语音语料库和循环深度神经网络作为基础，并且我们还应用 GAN（生成对抗网络）来提高该网络模型的性能。在日本声学学会展示了我们的研究成果。同时，对常规使用的递归网络结构和非递归网络结构进行了比较，明确了它们的特点和性能。这些研究结果是在日本声学学会九州分会举办的演讲会上公布的。这项研究的结果表明，即使从唇形视频等最小的发音信息中也可以合成可理解的语音。特别是，由于发音信息不包括与声源相关的信息，例如音高以及是否有声或无声，所以值得注意的是，可以使用嘴唇运动的时间序列数据作为线索来再现重音和语调。我可以说。