プログラミング授業をサポートするティーチングアシスタントロボットに関する研究

支持编程课的助教机器人研究

• 批准号: 20K03106
• 负责人: 吉野 和芳
• 金额: $ 2.16万
• 依托单位: Kanagawa Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K03106/
• 关键词: プログラミング教育; ティーチングアシスタントロボット; 授業支援; 画像処理; Pepper; LEGO MINDSTORMS EV3; アドバイス

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットの構築を目指し，ティーチングアシスタントロボットとしてソフトバンク社のPepperを利用し，そのPepperに備わっているビデオカメラの映像やセンサの情報を活用し研究を進めてきている．特に2022年度では，車輪型ロボットの組み立て時におけるアドバイスにおいて，これまで個別に開発してきた基礎的技術を融合させ，質問者の発見から，質問者の下へ移動し，質問内容の確認，アドバイスまでの動作を行えるようにした．挙手した質問のある学習者の発見は，教室内で学習者の顔の検出と手の検出を行い，その位置関係から質問者を特定している．その質問者の下への移動は，Pepper with the QiSDKのためのAPIを利用して，発見された質問者の顔のある方向をルートとして決定し，そのルートを進む．このとき，ティーチングアシスタントロボットは，Pepperの足元についているセンサでルート上の障害物を避けながら進んでいく．車輪型ロボットの組み立て時のアドバイスでは，これまでの経験でよくある質問として，組み立てマニュアルに載っているパーツをどこに付けたら良いのか分からないという状況を想定し，分からないパーツの認識と組み立てマニュアルのページの認識を特徴量マッチングという画像処理技法を利用して行った．パーツの認識では，車輪型ロボットの組み立てに使うパーツすべてを撮影した画像とPepperのカメラで撮影したパーツの画像の2枚を利用し，また，組み立てマニュアルでは，組み立てマニュアル内にある図を集めた画像と学習者が利用しているタブレットの画面をPepperのカメラで撮影した画像を使い，特徴量マッチングして，特徴量が似ている点が集中しているパーツやマニュアル内の図を検出して，判断している．

为了建立一个助教机器人，该机器人为教师使用轮型机器人为小学生提供编程课程，该公司使用软银的胡椒作为其助教机器人，并一直使用Pepper提供的摄像机镜头和传感器信息进行研究。特别是，在2022年，组装轮式机器人时的建议与已经单独开发的基本技术相结合，使用户可以执行诸如发现发问者的操作，转向发问者的发问者，检查问题的内容和建议。当学习者举起手时，他发现学习者在教室里的脸和手，并根据他的位置来识别提问者。为了在该发问者下移动，使用QISDK的胡椒粉的API用于确定遇到的发问者脸部作为路线并沿着该路线继续前进的方向。此时，助教机器人通过使用胡椒脚下的传感器来移动，避免了路线上的障碍物。在关于组装轮式机器人的建议中，我们使用了一种称为功能匹配的图像处理技术，这是我们经验中的一个普遍问题，以假设我们不知道将汇编手册中列出的零件附加到汇编手册中列出的部分。部分识别使用两个图像：用于组装轮式机器人的所有零件的图像以及用胡椒相机拍摄的零件的图像。此外，组装手册在组装手册中使用图表的图像以及学习者使用胡椒相机使用的平板电脑屏幕的图像来匹配特征，并在手册中检测具有相似功能和图表的零件来确定结果。

项目成果

Evaluation of Teaching Assistant Robot for Programming Classes

编程课助教机器人评价

• DOI: 10.18178/ijiet.2020.10.5.1384
• 发表时间: 2020
• 期刊: International Journal of Information and Education Technology
• 作者: Yoshino Kazuyoshi、the Kanagawa Institute of Technology;Atsugi;Japan、Zhang Shanjun
• 通讯作者: Japan、Zhang Shanjun