感情や個人性を高品質に表現可能なDNNに基づく音声合成方式の研究

基于DNN的高质量表达情感和个性的语音合成方法研究

基本信息

批准号：
21K11963
负责人：
阿部匡伸
金额：
$ 2.66万
依托单位：
Okayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11963/
关键词：
感情音声話者性 DNN WaveNet x-vector 音声合成深層学習マルチモダル

项目摘要

研究計画調書に記載した課題に関して，令和４年度（２０２２年度）に実施した内容は下記の通り。（課題１）非言語情報の表現モデル　「①-２感情強度表現方式の検討」について，X-vectorを利用して感情強度を制御する方式を検討した。感情は曖昧な情報であり、感情音声を喜怒哀楽にカテゴライズし、さらにそれらの強度をモデル化することは難しい。そこで、感情カテゴリとその強度を推定すること無しに、感情音声からX-vectorを抽出して、合成音声に反映させる方式を検討した。評価実験の結果、「喜」では80％、「哀」では60％程度の感情が表現できた。「喜」「哀」の性能差は原音声の感情の強さに依存している。この点は、評価を含め今後検討を進める。（課題２）少量データによる学習方式　「②-２学習データ量と性能の検討」について、学習済みのモデルを操作して多様な話者性を持つ音声を合成する方式を検討した。提案方式は、限られた学習データを利用して、学習データに含まれない話者性で音声を合成できる。具体的には、複数の学習話者からX-vectorを抽出し、各X-vectorの重みづけ和によって、新しい話者性を表現する。また、平均基本周波数の影響を低減させてX-vectorを抽出する方式を提案した。評価実験の結果、重みの大きさに対応して、話者性を制御できることが明らとなった。（課題３）音声対話システムへの応用　「音声対話タスクの検討」について、課題１で検討した「X-vectorを利用して感情強度を制御する方式」を利用するタスクとして、生徒と教師の対話タスクを選定した。システムが教師役であり、生徒の発話に対して回答する。生徒が「喜」や「哀」の感情で発話すれば、教師も「喜」や「哀」の感情で応答する。評価実験の結果、生徒の感情に合わせて教師が応答できることが明らかとなった。今後は、この応答戦略の妥当性と有効性を検討する。

关于研究计划报告中提到的问题，2022年（2022年）进行的内容如下。（状态1）用于表达非语言信息的模型：有关“ 1）情绪强度表达方案的研究”，我们研究了一种使用X-向量控制情绪强度的方法。情绪是模棱两可的信息，将情感语音分类为喜悦，愤怒，悲伤和幸福，并且很难对这些强度进行建模。因此，我们研究了一种方法，其中X向量是从情感语音中提取的，并反映在合成语音中，而无需估计情绪类别及其强度。通过评估实验，我们能够以“欢乐”的身份表达约80％的情绪，而“满足”的情绪为60％。 “欢乐”和“悲伤”之间的表现差异取决于原始声音的情感的力量。这一点将在将来讨论，包括评估。（研究2）我们使用少量数据进行学习方法，以了解“学习数据和绩效量”，我们研究了一种方法，其中使用先前训练的模型来合成具有各种说话者特征的语音。所提出的方法允许使用有限的学习数据综合语音，这不包括在学习数据中。具体而言，从多个学习者中提取X-向量，并使用每个X-Vector的加权总和来表达新的扬声器。我们还提出了一种通过降低平均基本频率的影响来提取X-量的方法。评估实验的结果是，可以根据权重的大小来控制说话者的特性。（研究3）针对“语音对话任务检查”的语音对话系统的应用，选择了一项学生教师对话任务作为一项任务，该任务使用了考试中讨论的“使用X-vector控制情绪强度的方法”。该系统扮演教师并回应学生的演讲。当学生以“喜悦”或“悲伤”的感觉说话时，老师还以“欢乐”或“悲伤”的感觉回应。评估实验表明，教师可以根据学生的情绪做出反应。将来，我们将研究此响应策略的有效性和有效性。