An Emotional Recognition AI Mentoring System for Children with Intellectual Disabilities to Support their Self-Study through E-Learning

智障儿童情绪识别人工智能辅导系统，支持他们通过网络学习自学

基本信息

批准号：
21K02872
负责人：
小田まり子
金额：
$ 2.66万
依托单位：
Kurume Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究の目的は、AI（Artificial Intelligence:人工知能）の応用技術である骨格検出や感情認識に基づくリアルタイム・メンタリング（助言・支援）機能を有するAR（Augmented Reality:拡張現実）カード教材eラーニング（electronic-learning）システムを開発し、知的障碍を持つ児童生徒の自律的学習を支援することである。学習時における学習者の様子をパソコンに接続されたカメラから取り込み、AIが判断した学習者の集中度や感情状態の推定結果に基づきリアルタイムで学習難易度を調整する。また、CG（Computer Graphics）で実現したキャラクタ（AIメンタ）が次の学習を指示すると同時に、学習者への適切な助言や励まし、集中力が途切れたタイミングでの声掛けなどのフィードバック（AIメンタリング）を行う。今年度は、学習者の骨格推定により、「立ち上がる」、「横を向く」、「うつ伏せになる」、「上を向く」などの非学習状態と思われる姿勢を抽出し、AIメンターが学習者に「前を向いてください」「座ってください」「疲れましたか」などと注意を促したり、「頑張っているね」などの励ましたりすることを可能にした。従来の学習履歴（正解率、解答時間）に基づくメンタリングシステムとは異なり、知的障碍のある学習者の感情状態、集中度、理解度を非言語情報から推定するところに本研究の新規性がある。音声言語による表出が困難な児童生徒に対する感情を汲み取った教育も期待できる。支援学校の先生に本eラーニング支援システムのデモンストレーションを行った結果、学習障害の児童生徒の学習支援になるだろうという意見を頂いた。また、eラーニングを頑張るように支援するだけでなく、体調に合わせて適度に休ませることにも利用できるのはないかといった特別支援学校の教員ならではの意見もいただいた。

本研究的目的是开发一种AR（增强现实）卡片教育材料电子学习（AR），它具有基于骨骼检测和情感识别的实时指导（建议/支持）功能，这些都是人工智能的应用技术（人工智能）的目标是开发一个电子学习系统来支持智障学生的自主学习。通过与计算机连接的摄像头捕捉学习者在学习过程中的行为，并根据人工智能确定的学习者注意力水平和情绪状态的估计结果实时调整学习难度级别。此外，使用CG（计算机图形学）实现的角色（AI导师）指导接下来的学习课程，同时向学习者提供适当的建议和鼓励，并提供反馈（AI导师），例如与学习者交谈当他们失去注意力时。今年，通过估计学习者的骨骼结构，我们将提取被认为处于非学习状态的姿势，例如“站起来”、“向侧面看”、“躺下”和“向上看”，并且AI导师现在可以给出“请向前看”、“请坐下”、“你累了吗？”等警告，以及“你正在做”等鼓励你最好的。”与传统的基于学习历史（正确答案率、响应时间）的指导系统不同，这项研究的新颖之处在于它从非语言信息中估计智障学习者的情绪状态、注意力水平和理解水平。我们还可以期待教育能够考虑到那些难以通过口语表达自己的学生的情感。当我们向特殊需要学校的老师展示这种电子学习支持系统时，我们收到的反馈是，它将有助于支持有学习障碍的学生的学习。此外，我们还收到了特殊学校教师的独特意见，例如是否可以利用该系统不仅鼓励学生在网上学习中尽力而为，还可以让他们根据自己的身体状况进行适当的休息。