Pronunciation education system based on the systematization of non-mothor tongue speech prosody using generation process model and speech synthesis

基于生成过程模型和语音合成的非母语语音韵律系统化的发音教育系统

基本信息

批准号：
24652115
负责人：
HIROSE Keikichi
金额：
$ 2.33万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Exploratory Research
财政年份：
2012
资助国家：
日本
起止时间：
2012-04-01 至 2014-03-31
项目状态：
已结题

项目摘要

Fundamental frequency (F0) contours of speech by natives and learners are analyzed using the generation process model. Several findings, such as phrase components being less affected by language differences, are shown. As for utterances by learners, influence of their mother tongue is observed. Since learners utterances involve F0 movements not observable in natives utterances, accent type identifier trained using native s utterances does not work well. To solve this problem, a series of perceptual experiments is conducted using synthetic speech with systematic control on F0 (points of F0 movements, slope coefficients). Based on the result, a threshold method of high-low decision of F0 is developed. Also, generation process model constraints are applied to HMM-based speech synthesis resulting in speech quality improvement. A pronunciation training system on Japanese accent type is developed and evaluated.

使用生成过程模型分析了当地人和学习者语音的基本频率（F0）轮廓。显示了几个发现，例如较少受语言差异影响的短语组件。至于学习者的话语，观察到母语的影响。由于学习者的话语涉及在当地人说话中无法观察到的F0运动，因此使用本机话语训练的口音类型标识符无法很好地奏效。为了解决这个问题，使用系统控制F0（F0运动点，斜率系数）的合成语音进行了一系列感知实验。根据结果，开发了F0高低决策的阈值方法。此外，生成过程模型的约束也应用于基于HMM的语音合成，从而改善语音质量。开发和评估了关于日本口音类型的发音训练系统。

项目成果

期刊论文数量（37）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Generation of fundamental frequency contours for Thai speech synthesis using tone nucleus model

使用音调核模型生成泰语语音合成的基频轮廓

DOI：
发表时间：
2013
期刊：
影响因子：
0
作者：
Oraphan Krityakien;Nobuaki Minematsu;and Keikichi Hirose
通讯作者：
and Keikichi Hirose

Automatic recognition of gemination in Japanese motivated by perceptual experiments

由感知实验驱动的日语中双生的自动识别

DOI：
发表时间：
2014
期刊：
Acoustical Science and Technology
影响因子：
0.7
作者：
Greg Short;Keikichi Hirose;and Nobuaki Minematsu
通讯作者：
and Nobuaki Minematsu

RhythmicPatterns of Nonnative Mandarin Speech

非母语普通话的节奏模式

DOI：
发表时间：
2014
期刊：
影响因子：
0
作者：
Tomoyuki Mizukami;Hiroya Hashimoto;Keikichi Hirose;Daisuke Saito;and Nobuaki Minematsu;Wentao Gu and Keikichi Hirose;百武恭汰,橋本浩弥,齋藤大輔,峯松信明,広瀬啓吉;Wentao Gu and Keikichi Hirose
通讯作者：
Wentao Gu and Keikichi Hirose

Selection of training data for HMM-based speech synthesis from prosodic features - Use of generation process model of fundamental frequency contours

从韵律特征中选择用于基于 HMM 的语音合成的训练数据 - 基频轮廓生成过程模型的使用