話者・地域・スタイルモーフィング音声合成による実環境リスニング学習支援

使用说话者/区域/风格变形语音合成来支持真实世界的听力学习

• 批准号: 22H00673
• 负责人: 能勢 隆
• 金额: $ 10.9万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H00673/
• 关键词: 英語学習支援; CALL; 音声合成; スタイルモーフィング; リスニング; テキスト音声合成; 深層学習; 統計的音声合成; 語学学習支援

本研究課題では、「音響工学および音声知覚の観点から、リスニング能力の効率的な向上のための方法論とはなにか?」という学術的問いに対する解を導くため、これまで我々が統計的音声合成、機 械学習、対話型英会話学習システムなどの研究により培ってきた個別の要素技術を融合・発展させ、話者・地域・スタイル・訛りといった英語音声の特徴を深層学習に基づくモーフィング技術に より段階的にシミュレーション可能な全く新しい実環境リスニング学習支援の実現を目指し、以 下の具体的な 4項目について検討を行うことを目的とする。(a)多様な話者・地域・スタイルを有する音声コーパスの設計と構築、(b)深層学習に基づくモーフィング音声合成技術の確立、(c)モーフィング音声合成を用いたリスニング学習支援システムの開発、(d)提案システムによる実環境におけるリスニング能力向上の実証実験。2022年度は上記のうち(a)の専用音声コーパスの構築のための諸検討を行った。具体的には英語音声合成の予備的実験、およびそれに基づくバランスコーパスの設定および分量の検討、予備的な収録に基づく異なる話速の音声の収録、分析を行った。分析の結果、話速が早い場合にリンキング・リダクションなどの発音特徴が増加することで、英語初学者の聞き取り精度が低下することを確認し、一様な伸縮により作成された低速な 音声の聴解を調査した。

In order to guide the academic question "What is a methodology for efficient improvement of listening ability from the perspective of acoustic engineering and speech perception?", this research topic aims to fusion and develop individual elemental technologies that we have cultivated through research such as statistical speech synthesis, machine learning, and interactive English conversation learning systems, and to realize a completely new real-world listening learning support that can simulate English speech characteristics such as speakers, regions, styles, and accents在阶段使用基于深度学习的变形技术，并考虑以下四个特定项目。 （a）设计和构建语料库，具有不同的说话者，区域和样式，（b）基于深度学习的形变语音合成技术，（c）使用变形的语音综合来开发听力学习支持系统，以及（d）使用建议的系统在实际环境中提高听力的演示实验。在2022年，提出了各种考虑，以在上述（a）的（a）中建立专用的音频语料库。具体而言，我们在英语语音综合中进行了初步实验，并基于实验平衡语料库的设置和音量，并根据初步记录记录和分析了不同的语音速度。该分析证实，当语音速度快速时，由于发音特征的增加（例如链接和降低）以及对均匀伸展的慢速语音的聆听理解，因此降低了英语初学者的聆听精度。

项目成果

英語リスニング学習支援のための低話速音声の聞き取りに関する検討

低速语音听力支持英语听力学习的研究

• 发表时间: 2023
• 期刊: 日本音響学会2023年春季研究発表会講演論文集
• 作者: 小野正樹;牧原功;大和啓子;Koichi Nishida;李丹;李丹;山岡政紀;斉藤幸一;千葉 理揮，能勢 隆，伊藤 彰則
• 通讯作者: 千葉 理揮，能勢 隆，伊藤 彰則