基于虚拟人的电视新闻维吾尔手语主持人合成技术的研究

This project, according to analysis of hierarchical structure of human anatomy and using H-Anim standard, establishes virtual human skeleton model using skeletal mesh skinning techniques and implements virtual human model with national costume features.Motion tracking method and comprehensive method of manually editing are used to set up Uyghur gesture movement’s database, facial expressions database and postures database. The problem of difference between Uyghur sign language vocabulary and common Uyghur language vocabulary is solved by effectively combining theories and methods of natural language processing and semantic framework library and sign language movement library; text sentences will converted into no ambiguity of text sentences which are eventually converted into sign language codes; With using three dimensional animation engine on virtual human movement key frame classification processing and key frame mapping method, sign language words conversion into virtual human sign language movements of sequence are implemented ; it will convert the movements of virtual human sign language image sequence into one non-linear editing system and its efficient synchronous TV news programs in Uyghur language, Uyghur text in the field of TV news documents are automatically converted to Uyghur sign language host who deaf can understand.

本项目根据人体解剖学原理分析人体层次化结构, 按H-Anim标准,建立虚拟人骨骼人体模型，采取骨骼网格蒙皮技术，实现具有民族服饰特征虚拟人模型。采取运动跟踪方法和手工编辑综合方法，建立维吾尔手势运动数据库，脸部表情库和姿势库。用自然语言处理的理论与方法，把框架语义库和手语运动库有效结合，解决维吾尔手语词汇与常用维吾尔词汇之间词汇量差异问题；将新闻文本句子转换成没有歧义的文本句子，将文本句子转换为表示手语的手语码；用三维动画引擎对虚拟人运动关键帧分类处理, 采用关键帧映射的方法, 实现手语词转化成虚拟人手语运动的序列；将虚拟人手语的动作转换为图像序列送人非线性编辑系统与原有维吾尔语电视新闻节目有效同步叠加，实现维吾尔语电视新闻领域的文稿自动转换成聋哑人可以理解的维吾尔手语新闻主持人。

自然语言书面表达通过文字符号载体来实现，聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达，对维吾尔语生成句法框架内维吾尔语句型进行分析，归纳了维吾尔语KP _V句型，KP_KP_V句型，KP_KP_KP_V句型和KP _Quot_Ｖ句型，根据这四类句型的文本句子提出了该句型的文本内容用手势语和手指语表示的转换方法，为本项目研究提供可靠的数据依据，针对维吾尔聋哑学校语文材料进行训练语料采集，在训练语料的基础上构建了维吾尔文词元库，构建了面向手语信息处理的维吾尔文本语料库。为了能够将维吾尔文本自动的翻译成可视化的手语序列，实现了对文本语料进行分词，通过查询手语转码表，文本语料分词序列转化成编码序列功能。本项目通过虚拟人建模、手语库构建、姿态编辑，运用插值算法合成显示播放，实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。

内容获取失败，请点击重试