多様な話者性の制御を可能とする高品質なテキスト音声合成の研究

研究能够控制不同说话者特征的高质量文本到语音合成

• 批准号: 03J01700
• 负责人: 戸田 智基
• 金额: $ 1.28万
• 依托单位: Nagoya Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-03J01700/
• 关键词: 音声合成; 話者性制御; 統計的特徴量変換; 音声信号処理; 動的特徴; 系列内変動; 最尤推定; パラメータ生成; コーパスサイズ; 声質変換; 動的特徴量; 素片選択; 韻律変形; 知覚的評価; コスト関数最適化; 音声合成; 話者性制御; 統計的特徴量変換; 音声信号処理; 動的特徴; 系列内変動; 最尤推定; パラメータ生成; コーパスサイズ; 声質変換; 動的特徴量; 素片選択; 韻律変形; 知覚的評価; コスト関数最適化

ある話者の音声を他の話者の音声へと変換する声質変換技術を用いることで、合成音声の特徴を容易に操作できる柔軟性の高い音声合成システムが実現できると見込まれる。声質変換では、少量の音声データから統計的に抽出された変換関数を用いることで任意の音声データに対するパラメータ変換が行われるが、既存手法の性能は不十分であり、得られる変換音声の品質劣化は大きい。この原因として、1)パラメータの時間変化に関する情報を使用していない、2)統計処理によりパラメータの過剰な平滑化が生じる、といった事が挙げられる。そこで,問題1)を解決するために、パラメータの静的特徴のみでなく動的特徴にも着目した変換法を提案した。さらに、問題2)を緩和するために、系列内変動という新たな特徴量を導入した変換法を提案した。従来法では統計処理として適切とは言い難いパラメータ変換処理が行われるが、提案法では尤度最大化基準に基づく変換処理が行われるため、数学的に取り扱いやすく、今後さらなる発展も十分に期待できる。実験的評価結果から、提案法は従来法と比較し、変換音声の音質、話者性を大きく改善できることを示した。また、本手法を実装したプログラムを、米国カーネギーメロン大学からフリーで公開されており世界中で広く使用されている音声合成用データベース作成ツールFestvoxに導入した。次期リリースにて本プログラムは公開される予定である。提案する統計的特徴量変換法を、調音特徴量からの音声合成、音声からの調音運動逆推定、非可聴つぶやきから通常音声への変換に対しても適用した。実験的評価により提案法の有効性を明らかにした。また、提案法を統計量ベーステキスト音声合成法における確率分布からのパラメータ生成に対しても適用した。実験的評価結果から、スペクトル・音源パラメータ生成においても提案法は有効であることを示した。

通过使用语音质量转换技术将一个说话者的声音转换为另一个说话者的声音，可以预期可以实现一个高度灵活的语音合成系统，可以轻松地实现合成语音的特征。在语音质量转换中，通过使用从少量音频数据中提取的转换函数进行任意音频数据进行参数转换，但是现有方法的性能不足，并且所获得的转换音频的质量也大大恶化。原因包括：1）有关参数中时间变化的信息，而2）统计处理会导致参数过度平滑。因此，为了解决问题1），我们提出了一种转换方法，该方法不仅关注静态特征，还关注参数的动态特征。此外，为了减轻问题2），我们提出了一种转化方法，其中引入了新的特征量（称为内酶变化）。常规方法使用参数转换处理，这几乎不适合统计处理，但是所提出的方法使用基于可能性最大化标准的转换处理，使其易于数学上的处理，并且可以在将来进行进一步的开发。实验评估结果表明，与常规方法相比，所提出的方法可以显着改善转换声音的声音质量和扬声器特性。此外，将实施此方法的程序引入了FestVox，这是一种语音综合数据库创建工具，该工具是由美国卡内基·梅隆大学（Carnegie Mellon University）发表的自由职业者，并在世界各地广泛使用。该程序将在下一个版本中发布。提出的统计特征转换方法也应用于发音特征的语音综合，词性运动的反相反估计以及从不可听到的推文转换为正常语音。通过实验评估阐明了所提出的方法的有效性。该方法还应用于基于统计的文本语音合成方法中概率分布的参数生成。实验评估结果表明，所提出的方法也有效地生成光谱和声源参数。