俯瞰的視座の動画共有を基盤とした遠隔指導システムによる細胞培養技術教育のＤＸ戦略

基于鸟瞰视频共享的远程教学系统的细胞培养技术教育DX策略

基本信息

批准号：
22K02814
负责人：
片岡健
金额：
$ 2.16万
依托单位：
Okayama University of Science
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本年度は細胞培養技術評価の指導システムの構築を行なった。当初はZoom等を用いた双方向ライブ配信による指導を計画していたが、予備的に実施したところ指導者と受講者の日程・時間の調整が問題となることが判明した。そこで新たに非同期型動画評価ツール「tsucom」を用いて、受講者が撮影した培養作業動画を事後に評価することとした。このシステムの特徴はアップロードした動画に対して、注意をすべき操作を行なったタイミングに指導者が音声指導と文字入力を用いて指導を行うことができる点である。基本的に受講者は指導が入った作業動画を後日確認することになるが、受講者とオンラインでつながりながら指導者が指導を行うライブ形式も可能である。さらに培養作業動画の撮影方法として、本研究で提唱している俯瞰画像に加えて、作業者の目線である正面からの画像を360°カメラで撮影した。この正面画像と俯瞰画像を2画面並べて評価することで、指導者は主観的な作業者の目線を確認しながら客観的な評価を下すことが可能となった。現在、この2視点カメラを用いた動画による指導を予備的に行なって、技術的な問題がないか検証している。今後は2視点からの作業動画と指導者による指摘事項をAI学習させ、自動的に問題操作を抽出することができるAI評価システムを構築する計画である。

今年，我们构建了细胞培养技术评价指导体系。最初的计划是使用Zoom等通过互动直播进行教学，但在进行了初步实施后，发现教师和学生之间的日程和时间协调将是一个问题。因此，我们决定使用新的异步视频评估工具“tsucom”对参与者拍摄的文化工作视频进行事后评估。该系统的一个特点是，教师在对上传的视频进行需要谨慎操作的操作时，可以使用语音指导和文本输入来提供指导。基本上，学生会在稍后查看带有指导的工作视频，但也可以以实时形式进行，即教师在与学生在线联系的同时提供指导。此外，除了本研究提出的鸟瞰图之外，我们还使用360°摄像机从工人的角度从正面拍摄图像，作为拍摄文化工作视频的方法。通过并排评估两个屏幕上的正面图像和俯视图像，指导员能够在检查工人的主观视角的同时做出客观评估。我们目前正在使用这款双视摄像头进行初步视频指导，以验证是否存在任何技术问题。未来计划建立一个AI评估系统，通过让AI从工作视频中学习，从导师指出的两个角度和要点，自动提取问题操作。