Study on Learning System of Japanese Sign Language based on its Characteristics using VR

基于VR的日本手语学习系统研究

• 批准号: 09680223
• 负责人: MIYAO Junichi
• 金额: $ 1.92万
• 依托单位: Hiroshima University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 1997
• 资助国家: 日本
• 起止时间: 1997 至 1999
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09680223/
• 关键词: Japanese sign language; JSL learning system; virtual reality; CAI; pedagogy; 手話動画像圧縮; 動画像圧縮

This research has studied collection and analysis of Japanese Sign Language (JSL) characteristics, pedagogy based on the characteristics, and a learning system to employ them, in order to realize easy-learning of JSL for beginners. The research contributions are the followings 1-5.1. Study on pedagogy : A pedagogy, which teaches important things based on the characteristics, is proposed. This realizes an adaptive teach method according to a learner's skill level, and reduces learner's burdensome for beginners.2. Collection and analysis of JSL motion characteristics : The proposed pedagogy needs numerical analysis of the JSL motion characteristics. Thus a method that the characteristics are derived by evaluating variety of video clips which are automatically generated from standard JSL words, is proposed. This method provides a numerical result that covers all situations of characteristics.3. Study on a learning system : A prototype system using the proposed pedagogy is developed. This system incorporates feedback of learner's motion by using virtual reality equipments, I. E., a data grove and a 3-D position and angle sensor. This feature realizes evaluation of learner's motion which is impossible in most previous systems. Then, the pedagogy with the feedback enhances effectiveness of the system.4. Evaluation of the pedagogy : The pedagogy is evaluated by using the actual characteristics which are obtained in this research. The results show that it provides effective learning, and reduction of learning time and learning burdensome.5. Application of JSL motion characteristics : Data compression of JSL motion picture is considered. Then, it is found that the characteristics obtained in this study can be applied to minimization of number of picture frames in JSL clips.

这项研究研究了日本手语（JSL）特征的收集和分析，基于特征的教学法以及一种学习系统来雇用它们，以实现对初学者的JSL轻松学习。研究贡献是以下1-5.1。关于教学法的研究：提出了基于特征的重要事物的教学法。根据学习者的技能水平，这实现了一种自适应教学方法，并减少了学习者对初学者的繁重。2。 JSL运动特征的收集和分析：拟议的教学法需要对JSL运动特征的数值分析。因此，提出了一种通过评估从标准JSL单词自动生成的各种视频剪辑来得出特征的方法。该方法提供了涵盖特征所有情况的数值结果3。学习系统的研究：使用拟议的教学法的原型系统。该系统通过使用虚拟现实设备（I. E.），一个数据树林和3-D位置和角度传感器来结合学习者运动的反馈。此功能实现了对学习者运动的评估，这在大多数以前的系统中都是不可能的。然后，带有反馈的教学法提高了系统的有效性4。对教学法的评估：通过使用本研究中获得的实际特征来评估教学法。结果表明，它提供了有效的学习，减少了学习时间和学习繁重的学习。5。 JSL运动特征的应用：考虑JSL电影的数据压缩。然后，发现在这项研究中获得的特征可以应用于最小化JSL夹中图形数量的特征。

项目成果

宮尾淳一: "手話学習システムのための手話単語特徴に基づく教授法"電子情報通信学会論文誌D-1. J83-D-1(in print). (2000)

Junichi Miyao：“基于手语单词特征的手语学习系统的教学方法”IEICE Transactions J83-D-1（印刷中）。

Jun'ichi Miyao: "A Reliable Software Architecture for Complex Embedded Systems" IEEE International Symposium on Object-Oriented Real-Time Distributed Computing. (in print). (1998)

Junichi Miyao：“复杂嵌入式系统的可靠软件架构”IEEE 国际面向对象实时分布式计算研讨会。

宮尾淳一: "手話単語の意味的特徴点と手話動画像圧縮の検討"電子情報通信学会マルチメディア/仮想環境研究会技術報告. MVE99-84. 51-56 (2000)

Junichi Miyao：“手语单词的语义特征点和手语视频压缩的研究”IEICE多媒体/虚拟环境研究组技术报告MVE99-84（2000）。

Jun'ichi Miyao: "Basic data of sign language representation for sign language learning system"IEICE Tech.Rep.. ET97-123. 81-88 (1998)

Junichi Miyao：“手语学习系统的手语表示基础数据”IEICE Tech.Rep.. ET97-123。

宮尾淳一: "手話学習システムのための手話表現基礎データの作成"電子情報通信学会教育工学研究会技術報告. ET97-123. 81-88 (1998)

Junichi Miyao：“手语学习系统的基本手语表达数据的创建”电子、信息和通信工程师协会教育技术研究组的技术报告 ET97-123 (1998)。