スマートフォンとAI技術を用いた新しい点字自己学習支援システムの開発研究

利用智能手机和人工智能技术研发新型盲文自学支持系统

基本信息

批准号：
22K12298
负责人：
岡崎泰久
金额：
$ 1.16万
依托单位：
Saga University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究は、中途視覚障害者でもスマートフォンを活用できることに着目し、点字を学習するためのセルフラーニングツールとして、スマートフォンを活用する新たな学習環境の構築を行うものである。本年度は、下記に示す通り、研究計画に基づいて、ユーザ支援機能、スマートフォンと連携する点字学習教材の開発、および、個人学習支援環境の研究開発に取り組んだ。(1)ユーザー支援機能：視覚障害者がスマートフォンのカメラでカード教材の点字を撮影する自動撮影機能の実装、および、ユーザの操作に応じた音声やバイブレーションによるフィードバック機能の実装を行うことで、ユーザ支援のためのインタフェースの構築を行った。(2)点字学習教材開発：点字指導の専門家から直接意見を伺うインタビュー調査を行うとともに、文献調査による教材分析を行い、入門用のカード教材の試作を行った。さらに、スマートフォンと連携して学習を進めるために、機械学習によるカード教材の点字の教材の学習端末におけるリアルタイム認識の実装を行った。(3)個人学習支援環境：カード教材を用いた学習のフィードバックを、ユーザ自身がジェスチャにより行うインタラクション機能の実装、特定の点字の学習が行き詰まった場合に、ハミング距離を用いて類似の点字の学習を推薦する学習アドバイスなどの単元アドバイス機能の実装に加え、ユーザが学習を行った際の学習した単元やその単元でのユーザの振る舞いなどの学習記録をサーバに保存する機能の試作を行った。

这项研究着眼于即使是部分视障人士也可以使用智能手机这一事实，旨在创建一个新的学习环境，利用智能手机作为学习盲文的自学工具。今年，如下所示，根据研究计划，我们致力于用户支持功能的开发、与智能手机配合使用的盲文学习材料以及个人学习支持环境的研究和开发。 (1) 用户支持功能：通过实现自动拍摄功能，允许视障人士使用智能手机相机拍摄卡片材料上的盲文照片，并通过实现响应用户操作使用音频和振动的反馈功能，界面建造了支撑。（2）盲文学习材料的开发：除了通过访谈直接听取盲文教学专家的意见外，我们还通过文献研究对材料进行分析，制作了入门卡片材料的雏形。此外，为了促进与智能手机结合的学习，我们利用机器学习在学习终端上实现了卡片教材盲文教材的实时识别。（3）个人学习支持环境：实现交互功能，用户可以使用卡片材料使用手势提供学习反馈，并且当学习特定盲文字符遇到困难时，使用汉明距离学习相似的盲文字符。在实现单元建议功能（例如推荐学习建议的学习建议）的同时，我们还原型了一个在服务器上保存学习记录（例如用户所学习的单元以及用户在这些单元中的行为）的功能。