話者・地域・スタイルモーフィング音声合成による実環境リスニング学習支援

使用说话者/区域/风格变形语音合成来支持真实世界的听力学习

基本信息

批准号：
22H00673
负责人：
能勢隆
金额：
$ 10.9万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究課題では、「音響工学および音声知覚の観点から、リスニング能力の効率的な向上のための方法論とはなにか?」という学術的問いに対する解を導くため、これまで我々が統計的音声合成、機械学習、対話型英会話学習システムなどの研究により培ってきた個別の要素技術を融合・発展させ、話者・地域・スタイル・訛りといった英語音声の特徴を深層学習に基づくモーフィング技術により段階的にシミュレーション可能な全く新しい実環境リスニング学習支援の実現を目指し、以下の具体的な 4項目について検討を行うことを目的とする。(a)多様な話者・地域・スタイルを有する音声コーパスの設計と構築、(b)深層学習に基づくモーフィング音声合成技術の確立、(c)モーフィング音声合成を用いたリスニング学習支援システムの開発、(d)提案システムによる実環境におけるリスニング能力向上の実証実験。2022年度は上記のうち(a)の専用音声コーパスの構築のための諸検討を行った。具体的には英語音声合成の予備的実験、およびそれに基づくバランスコーパスの設定および分量の検討、予備的な収録に基づく異なる話速の音声の収録、分析を行った。分析の結果、話速が早い場合にリンキング・リダクションなどの発音特徴が増加することで、英語初学者の聞き取り精度が低下することを確認し、一様な伸縮により作成された低速な音声の聴解を調査した。

在这个研究项目中，我们开发了统计语音合成，通过融合和开发在机器学习、交互式英语会话学习系统等研究中培育的各个基本技术，我们创建了一种基于深度学习的变形技术，捕捉了语音的特征。英语演讲，例如说话人、地区、风格和口音。为了实现一种全新的、可以更加分步模拟的真实环境听力学习支持，本研究的目的是考虑以下四个具体项目。 (a) 设计和构建具有不同说话者、地区和风格的语音语料库； (b) 建立基于深度学习的变形语音合成技术； (c) 开发使用变形语音合成的听力学习支持系统；）在真实环境中使用所提出的系统来提高听力能力的演示实验。 2022 财年，我们进行了各种研究，为上述 (a) 构建了专用语音语料库。具体来说，我们进行了英语语音合成的初步实验，根据实验检验了平衡语料库的设置和大小，并根据初步录音记录和分析了不同语速的语音。分析结果证实，英语初学者的听力准确性下降是由于语速较高时连音、缩音等发音特征的增加，以及均匀扩张和收缩造成的慢速语音的听力理解造成的。被证实。