機械学習による児童生徒の学習参加の状態推定解析システムの開発

开发利用机器学习估计和分析学生参与学习状态的系统

• 批准号: 22K02870
• 负责人: 石川 健介
• 金额: $ 2.66万
• 依托单位: Kanazawa Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K02870/
• 关键词: 状態推定; 学習; 機械学習; 集中度推定; 画像処理; 教授スキル; 支援システム

学習支援のための集中度推定システムの開発において、本年度はその推定精度向上に関して検討を進めた。単眼カメラを用いて得られる動画像に対する画像処理によって、学習者が注視対象、すなわち、学習時における机上の、あるいは教員が提示する教材を注視しているか、学習者の頭部姿勢を推定し、注視対象の方向と一致するかを評価することで集中度を推定している。また、学習者の開眼閉眼についても画像処理に基づいて判定を行い、集中度評価を行っていたが、画像からの特徴抽出に基づく手法ではカメラ画像の輝度や学習者の姿勢によって開眼閉眼を正しく判定できない場合があった。そこで、本年度は深層学習に基づく判定方法を導入したところ、開眼閉眼の判定を正しく行うことが可能となり、集中度推定の精度の向上を確認することができた。さらに、前述のような学習時の注視対象は、机上の教材から教員の提示物、あるいは何らかの説明行っている教員まで、都度切り替わっていくものであるが、教員が注意喚起を目的とした身振り手振りによって注視対象が切り替わったことを検出し、学習者の集中度推定を継続して行うために、指導者のモーション検知に関する評価実験を行った。手を叩く、手を振る、それぞれの動作を指導者役の被験者の手首に装着した3軸加速度センサの応答波形に短時間フーリエ変換を適用して評価した。その結果、それぞれの動作において特徴的な周波数特性が得られることが確認でき、今後、機械学習に基づくモーション検知の実現を進め、実際の授業における評価検討を進める。

今年，在开发用于学习支援的集中度估算系统时，我们致力于提高估算精度。通过对使用单目相机获得的运动图像进行图像处理，可以估计学习者是否注视着关注对象，即学习期间的课桌上或教师呈现的教材，并估计学习者的注意力通过评估方向是否与注视目标的方向匹配来估计头部姿势。此外，注意力集中程度是通过基于图像处理确定学习者的眼睛是睁开还是闭上来评估的，但是基于图像特征提取的方法可以根据摄像机图像的亮度正确地确定眼睛是睁开还是闭上。或学习者的姿势也有无法确定的情况。因此，今年我们引入了基于深度学习的判断方法，可以正确判断眼睛是睁着还是闭着，并且我们能够确认浓度估计精度的提高。此外，正如前面提到的，学习过程中关注的对象是时时变化的，从课桌上的教材到老师的演示，甚至是老师的某种讲解，我们对讲师动作检测进行了评估实验。以便检测注意力目标发生变化并持续估计学习者的注意力水平。通过对安装在充当指导者的受试者手腕上的 3 轴加速度传感器的响应波形应用短时傅里叶变换来评估拍手和挥手的动作。结果，我们能够确认每个动作都获得了特征频率特性，并且我们将进一步实现基于机器学习和实际课堂评估研究的动作检测。