構造的不変表象を基盤とした柔軟な音声合成技術の構築

基于结构不变表示的灵活语音合成技术构建

基本信息

批准号：
10J08861
负责人：
齋藤大輔
金额：
$ 0.9万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2010
资助国家：
日本
起止时间：
2010 至 2011
项目状态：
已结题

项目摘要

本研究課題では、人間の音声コミュニケーションの解明とそのメディア情報処理による実現を念頭に、人間の音声活動に着眼した上で、構造的不変表象を基盤とした音声合成技術の高精度化に取り組んだ。これまでに提案した音声合成のフレームワークを幼児の音声模倣のモデルとして解釈し、空間探索問題としての定式化を行い、その評価関数に基づく最適化によって高精度化を実現した。本年度における研究課題の遂行では、話者性と言語性の分離・統合という観点から提案する音声合成技術をより柔軟なものにすることを検討した。この際、入力発声の話者性を所望の話者のものへと変えて出力する声質変換と呼ばれる技術に着眼し、これに音声翻訳や音声認識の知見から分離・統合の確率モデルを導入することで、言語性及び話者性のモデル化に別々の手法を利用し、これを統合できる可能性を示した。具体的には、言語性のモデル化について入出力話者間の変換関係を記述する混合正規分布モデルを、話者性のモデル化には出力話者の音声空間をモデル化する混合正規分布モデルをそれぞれ独立に学習・導入することで、従来変換関係の構築に必要だったパラレルコーパスの必要性を削減し、さらに変換性能の高精度化を可能とした。また本年度研究課題遂行の後半においては、韻律的特徴の全体的変化を捉えてモデル化することに着眼し、少数のパラメータでピッチパターンの時間変化をモデル可能な基本周波数パターン生成過程モデルと呼ばれるモデルに着目し、これを用いて入出力話者の基本周波数パターンを記述した上で、その対応関係を変化差分で記述手法について検討した。本年度の検討事項は、構造的不変表象との組み合わせを意図したものであり、それぞれフレームワークの確率的な拡張、および韻律的特徴への導入として位置づけられ、今後構造的不変表象との統合を通して、研究目的である柔軟な音声合成技術の完成を目指す。

在这个研究项目中，我们关注人类的声音活动，致力于提高基于结构不变表示的语音合成技术的准确性，旨在阐明人类的声音交流并通过媒体信息处理来实现。我们将迄今为止提出的语音合成框架解释为婴儿语音模仿的模型，将其表述为空间搜索问题，并通过基于其评估函数的优化实现了高精度。在今年开展的研究项目中，我们考虑从分离和整合说话人特征和语言特征的角度，使所提出的语音合成技术更加灵活。此时，我们专注于一种称为语音质量转换的技术，该技术将输入话语的说话人特征更改为所需说话人的特征，并引入了基于语音翻译和语音识别知识的分离和集成的概率模型。证明了使用单独的方法对语言和说话者特征进行建模并将其集成的可能性。具体来说，我们使用描述输入和输出说话人之间的变换关系的混合正态分布模型来建模语言特征，以及对输出说话人的语音空间进行建模的混合正态分布模型来建模说话人特征。我们减少了对传统上构建转换关系所需的并行语料库的需求，并使得进一步提高转换性能的准确性成为可能。此外，在今年下半年的研究项目中，我们将专注于捕捉和建模韵律特征的整体变化，并将开发一种称为基频模式生成过程模型的模型，该模型可以用很小的频率来模拟音调模式的时间变化。我们关注这一点并用它来描述输入和输出扬声器的基频模式，然后研究一种使用变化差异来描述对应关系的方法。今年的考虑意在与结构不变表征相结合，分别定位为框架的概率扩展和韵律特征的介绍，通过与结构不变表征的结合，本研究的目标是完成灵活的语音合成技术。