An optimum method of displaying speakers' face images and captions for a real-time speech-to-caption system for the deaf

聋人实时语音字幕系统显示说话者人脸图像和字幕的最佳方法

• 批准号: 19700627
• 负责人: KUROKI Hayato
• 金额: $ 2.49万
• 依托单位: Tsukuba University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19700627/
• 关键词: ヒューマン・インタフェース; 障害者支援; 音声認識; 字幕; ノンバーバル情報; 教育工学; 認知科学; 情報工学; ユーザインタフェース; 高等教育支援

Our througoing real-time speech-to-caption system that using speech recognition technology with a "repeat-speaking" method showed that the accuracy of the captions is about 97% in Japanese-Japanese conversion. We found the idea to display information of captions and speaker's face movement images with a suitable way to achieve a higher comprehension. The results showed that the mouth movements contribute to improve the comprehension of the captions, and the sequence "to display the caption before the speaker's face image" improves the comprehension of the captions also.

我们通过使用语音识别技术和“重复说话”方法的实时语音转字幕系统表明，日语-日语转换的字幕准确率约为 97%。我们找到了用合适的方式显示字幕信息和说话者面部运动图像的想法，以实现更高的理解。结果表明，嘴部运动有助于提高字幕的理解力，并且“在说话者面部图像之前显示字幕”的顺序也提高了字幕的理解力。

项目成果

アメリカにおける聴覚障害者のための文字による情報保障技術に関する報告

美国听力障碍者书面信息安全技术报告

• 发表时间: 2008
• 作者: 黒木速人

音声認識技術を利用した字幕呈示システムの活用に関する研究-聴覚障害者のニーズに即した呈示方法-

利用语音识别技术的字幕呈现系统的使用研究 - 满足听障人士需求的呈现方法 -

• 发表时间: 2008
• 作者: 中野聡子

A Method for Determining the Timing of Displaying the Speaker's Face and Captions for a Real-Time Speech-to-Caption System

实时语音字幕系统中确定说话者面部和字幕显示时机的方法

• 发表时间: 2010
• 作者: H.Kuroki; S.Ino; S.Nakano; K.Hori; T.Ifukube
• 通讯作者: T.Ifukube

A Method for Determining the Timing of Displaying the Speaker's Face and Captions for a Real-Time Speech-to-Caption System

实时语音字幕系统中确定说话者面部和字幕显示时机的方法

• 发表时间: 2010
• 作者: H.KUROKI