対話型ハンズフリーマニュアルの開発（人工知能と拡張現実の応用による）

开发交互式免提手册（通过应用人工智能和增强现实）

• 批准号: 20K13886
• 负责人: 伊藤 奈々
• 金额: $ 2.75万
• 依托单位: Teikyo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K13886/
• 关键词: 画像認識; 定量的評価; HFマニュアル; 画像解析; 完全音声制御式HFマニュアル; 拡張現実; 人工知能; 対話型ハンズフリーマニュアル

本研究は、ハンズフリーマニュアルへの音声認識による検索機能の追加とスマートグラスのカメラ機能を利用し、画像認識システムを用いて操作手技を判定し定量的評価できるシステムを構築し、その有効性を明らかにすることである。本研究では、操作手技の判定として、医療材料の組み立て（血液透析回路と血液透析器の組み立て）とした。医療材料にマーキングを付け、正しく組み立てが行えたかどうかを画像認識システムを用いて実施するため、2021年度は、マーキングの素材や色、大きさについて検討を行った。2022年度の研究成果は、画像認識システムにより組み立ての正誤判定が可能になったことである。高い精度での判定が可能になった。血液透析回路と血液透析器の組み立ては、その接続が緩すぎると治療中の血液漏れへとつながるため、本研究では、その漏れ始めるところを前研究として調査した。そして、回路側に縦、横５㎜の正方形の黄色のマーキングを付け、透析器側に縦５mm、横15㎜の長方形の黄色のマーキングを付けた。長方形のマーキング内に正方形の２つのマーキングが入っていれば漏れることはなく（正）、マーキング外に出ると漏れる（誤）として正誤判定を行った。画像認識システムはMATLABを用い、組み立てた材料を写真で撮影しパソコンへ取り込み、MATLABで画像解析を実施した。写真撮影は、スマートグラスのカメラ機能を利用する計画であったが、現状のスマートグラスのカメラの性能では、まだ画素数が低いため、今回はスマートフォンのカメラを用いた。次年度は、マーキングの数を増やし一連の操作手技終了後、その操作手技を判定する予定である。

本研究通过在免提手册和智能眼镜的摄像功能中添加使用语音识别的搜索功能，构建了一个可以使用图像识别系统判断和定量评估操作技术的系统，并评估其有效性。是为了澄清。本研究以组装医疗材料（组装血液透析回路和血液透析器）来判断操作技术。 2021财年，我们检查了标记的材料、颜色和尺寸，以便使用图像识别系统标记医疗材料并检查它们是否正确组装。 2022年的研究成果是，利用图像识别系统来判断组装是否正确已经成为可能。高精度的判断成为可能。在组装血液透析回路和血液透析器时，如果连接太松，可能会导致治疗过程中血液渗漏，因此在本研究中，我们像之前的研究一样调查渗漏开始的点。然后，在电路侧贴附长5mm、宽5mm的方形黄色标记，在透析器侧贴附长5mm、宽15mm的矩形黄色标记。如果两个正方形标记包含在一个矩形标记内，则不会发生泄漏（正确），如果标记位于标记之外，则会发生泄漏（错误）。使用MATLAB作为图像识别系统，拍摄组装材料的照片并将其导入计算机，并使用MATLAB进行图像分析。本来计划是利用智能眼镜的拍照功能来拍照，但目前智能眼镜的摄像头像素还比较低，所以这次我们使用了智能手机摄像头。明年，我们计划在完成一系列操作技术后，增加标记数量和判断操作技术。

项目成果

対話型AR化ハンズフリーマニュアルの学習効果ー医療技術者教育におけるAR技術の応用ー

交互式AR免提手册的学习效果-AR技术在医技人员教育中的应用-

• 发表时间: 2021
• 作者: 伊藤奈々;武田朴;笠井亮佑;上條史記;加納敬;島峰徹也;荻野稔;日向奈惠;篠原一彦;田仲浩平
• 通讯作者: 田仲浩平

対話型AR化ハンズフリーマニュアルの学習効果ー医療技術者教育におけるAR技術の応用ー

交互式AR免提手册的学习效果-AR技术在医技人员教育中的应用-

• 发表时间: 2021
• 作者: 伊藤奈々;武田朴;笠井亮佑;上條史記;加納敬;島峰徹也;荻野稔;日向奈惠;篠原一彦;田仲浩平
• 通讯作者: 田仲浩平