ビスポーク音声デザインの骨格形成と体系化

定制音频设计的骨架形成和系统化

基本信息

批准号：
21H04900
负责人：
森勢将雅
金额：
$ 27.37万
依托单位：
Meiji University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-05 至 2025-03-31
项目状态：
未结题

项目摘要

2022年度は，2021年度に構築した音声データベースを用いて発話スタイルの音響特徴解析を行う研究や，音声デザインインタフェース開発を目指したGUIの試作，および様々な特徴を有する音声合成技術の研究等多面的な活動に取り組んだ．音声データベース用いたテキスト音声合成を実装することで，Deep learningベースの方法を用いた場合でも，データベースの量・質ともに問題が無いことを確認した．その後，音声デザインを重視した技術の実現を目指し，従来法の改良に取り組んだ．加えて，声優が意図的に変化させた発話スタイルが，音声の基本周波数やフォルマント周波数，および話速に影響を与えていることを確認した．コーパスの読みやすさを評価するため，2名の声優に4,600文のコーパスを朗読させ，全文のリテイク回数を記録し比較することで朗読が困難な文が無いか評価した．評価の結果，共通する文でリテイク数が増加する傾向は認められず，一文を構成するモーラ数とリテイク数が比例する傾向を確認した．音声分析や合成に関する研究では，避難呼びかけの音声の分析や合成，2話者の中間属性を有する音声の合成技術，およびささやき声の生成法などの実現を目指した研究を推進した．加えて，声質変換技術にも取り組み，Deep neural networks (DNN)による声質変換技術について論文を発表した．音声知覚についても，音声に対して知覚するポジティブ感情，および音声のみならず感情も含めた感情知覚に関する研究を推進した．音声デザインGUIについては，研究代表者の代表的な成果である音声分析合成基盤WORLDをGUIとして実装し，音声デザインインタフェース開発に向けた問題点の洗い出しに取り組んだ．現状では高さ（基本周波数）など物理量で近似できるパラメータの制御に絞り，柔軟に操作できることを優先してプロトタイプを実装した．

2022年，我们将进行多方面的研究，例如使用2021年建立的语音数据库分析语音风格的声学特征，制作旨在开发语音设计界面的GUI原型，以及研究具有各种特征的语音合成技术。。通过使用语音数据库实现文本到语音合成，我们确认即使使用基于深度学习的方法，数据库的数量或质量也不存在问题。之后，我们致力于改进传统方法，旨在实现强调音频设计的技术。此外，我们确认配音演员故意改变的说话风格会影响声音的基频、共振峰频率和说话速度。为了评估语料库的可读性，我们让两名配音演员朗读了4600个句子的语料库，通过记录和比较整个文本的重读次数，我们评估是否存在难以阅读的句子。评估结果发现，对于普通句子，重考次数没有增加的趋势，并且组成句子的词素数有与重考次数成正比的趋势。在语音分析与合成研究方面，我们开展了疏散呼叫语音的分析与合成、两个说话人之间具有中间属性的语音合成技术、低语语音生成方法等研究。此外，他还致力于语音质量转换技术，并发表了一篇关于使用深度神经网络（DNN）的语音质量转换技术的论文。在言语感知方面，我们推动了对言语感知的积极情绪和情感感知的研究，其中不仅包括言语，还包括情感。关于音频设计GUI，我们将研究人员的代表性成果语音分析和合成平台WORLD实现为GUI，并致力于找出音频设计界面开发的问题。目前，我们重点控制高度（基频）等可以用物理量近似的参数，并实现了以灵活操作为优先的原型。