面向新疆少数民族汉语语言学习的自动发音错误检测方法的研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
60965002
项目类别：
地区科学基金项目
资助金额：
24.0万
负责人：
黄浩
依托单位：
新疆大学
学科分类：
F0605.模式识别与数据挖掘
结题年份：
2012
批准年份：
2009
项目状态：
已结题
起止时间：
2010-01-01 至2012-12-31

项目参与者：
于清；艾山·吾买尔；赵丹；买合木提；哈力丹；刘建明；
关键词：
新疆双语教学语音识别发音错误检测语言学习

项目摘要

加快新疆少数民族双语教学是促进新疆人才和经济发展的重要因素。本课题将面向连续语音的口语发音检测方法应用于新疆少数民族的汉语交互式语言学习中，利用语音学、语言学的研究成果，对母语非汉语的少数民族汉语学习者的口语发音错误进行分析。针对发音规则设计语料文本并采集语音数据，对数据进行详细的发音质量的标注。通过人工总结或统计学习的方法对少数民族汉语学习者容易产生的错误建立混淆规则。建立完整的语音识别系统，将混淆规则与语音识别结合起来，有效地检测音素、音调的正确度。在少数民族的汉语发音库的基础上建立发音检测的细分声学模型以获得更为精确的检测结果；研究利用音位学属性的自动标注，分析说话人发音音位变化并与正确的音位特征进行比较，给出发音器官运动方式的正确指导。通过实验验证所提出的方法并进行分析，得到自动发音检测应用中语音识别的新方法和新见解，并建立接近实用的面向少数民族汉语语言学习的发音错误检测系统。

结项摘要

在数据采集方面：针对新疆维吾尔族说话人的汉语发音水平和熟练度，确定了朗读文本，朗读文本包括单字、词以及短句。并在此基础上针对不同说话人继续进行语音库的扩充。目前为止，针对维吾尔族成人说话人的发音错误检错任务，录制了刚在我校二、三年级大学生维吾尔族大学生(民考民)发音数据库，目前共男女共150人数据。邀请富有标注经验的专家对非标准数据进行了人工标注，得到了各个音素段的音素发音、声调发音的缺陷、错误，整句的流畅度标注结果。..编写建立发音错误检错的基线实验系统平台，包括根据朗读文本强制对齐获得音素的起止时间，计算声学模型得分和声调模型以及音素与声调的后验概率等，并综合各种模型得分获得最终的音素、声调检错结果。在针对字、词、短句的数据上进行了声母、韵母、声调的检错实验，进行了全局门限和分音素独立门限的选取实验。根据目前已经有的模型以及检错算法，编写了基于Windows平台的发音错误检测的演示程序，能够与用户进行直接交互，对用户的语音输入字、词、短句进行检错。..为了提高发音错误检测系统的性能，提出一种声学模型的区分性训练方法。该方法将发音错误检测的F1值的最大化作为模型参数的训练准则。采用Sigmoid 函数对值函数进行平滑构造目标函数，并利用构造弱意义辅助函数的方法以及扩展Baum-Welch形式的参数更新公式进行优化。提出在模型参数更新与音素门限同时优化的策略保证目标函数增长的单调性。发音错误检测实验表明该方法能够有效地增大训练和测试数据检错的F1值。同时训练数据和测试数据上的精确度、召回率以及检测正确度都有明显改进。..对基于语音识别任务的lattice中区分性的模型组合进行了研究。上下文相关的区分性模型组合已经显示了其有效性，但其局限在于引入大的模型权重参数集，在数据有限时容易导致区分性权重训练过拟合。针对该问题，提出利用决策树进行上下文建模，采用最小音子错误准则构建决策树以获得最优上下文相关权重参数集。通过评估目标函数的一阶近似增量来加速最优问题集的选择，并利用精细问题集来获得更好的声学区分能力。基于多模型组合的语音识别实验表明，该方法能够增强权重训练对过拟合的鲁棒性。..报告还对新疆维吾尔族说话人的汉语发音词典以及在语音识别中的自适应研究、基于区分性准则的特征变换进行了简要阐述。报告最后对项目期间参与的国内外学术交流以及人才培养情况进行了总结。