The development of non-technical skills EBT technology for medical students by integrating AI and VR technology.

通过整合AI和VR技术，为医学生开发非技术技能EBT技术。

基本信息

批准号：
22K18573
负责人：
野坂大喜
金额：
$ 3.99万
依托单位：
Hirosaki University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2022
资助国家：
日本
起止时间：
2022-06-30 至 2025-03-31
项目状态：
未结题

项目摘要

【研究概要】チーム医療が主流となった現在の臨床現場において、ノンテクニカルスキル(NOTECHS)は医療安全の観点から必須の医療者共通スキルとされる。Society5.0による社会課題解決が課題とされる中、操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境構築を可能とするVRは,医療テクニカル教育技術として有用視されている。一方、 NOTECHS教育も医療環境をシミュレートした仮想トレーニング化が必要となるものの、教育手法は対面式に限定され、客観的根拠に基づく訓練(EBT)に基づくスキル評価法も確立していない。本研究は仮想医学教育技術とEBT手法の確立を目的とし『AIとVR技術の融合による医療系学生ノンテクニカルスキルEBT技術』の研究開発を実施した。【研究実績】2022年度研究では、AIとVRの融合による医療系学生向けNOTECHS仮想トレーニング技術の研究を実施した。患者案内や患者問診、患者指導などの医療行為を360度高精細動画にて撮影し、選択した解答に沿って異なるシナリオ動画へ移行していくVR型医療トレーニングシミュレーション環境を構築した。選択においては受講者が音声によりAIに解答を伝えることで次のシナリオへと進行していくAIボットシステムを開発した。VR映像で提示される医療環境と伝達指示のAI解析と融合化したことで、次世代型NOTECHS仮想トレーニング技術の初期基盤技術を確立した。本技術について小規模な実証評価試験を行ったところ、AIの応答速度の向上について改良の必要性が明らかとなった。また複数名にVRを着用させ、両者のやりとりをAIに自然言語解析し、記録データをシミュレーション終了後に解析する比較対照試験を試みた。その結果、両者ともに受講者評価が高く異なるトレーニングシステムとしての有用性が示唆された。

[研究综述]在当前团队医疗成为主流的临床环境下，从医疗安全的角度来看，非技术技能（NOTECHS）被认为是医疗专业人员必备的通用技能。虽然通过Society 5.0解决社会问题正在成为一个问题，但VR可以构建尽可能接近现实的虚拟空间模拟环境，而不会对操作者造成任何危险，被认为作为医疗技术教育很有用技术。另一方面，NOTECHS教育虽然需要模拟医疗环境的虚拟培训，但教育方式仅限于面对面培训，尚未建立基于客观循证培训（EBT）的技能评估方法。本研究旨在建立虚拟医学教育技术和EBT方法，开展“结合AI和VR技术的医学生非技术技能EBT技术”的研发。【研究成果】2022年研究中，我们结合AI和VR对医学生NOTECHS虚拟训练技术进行了研究。我们打造了VR式的医疗培训模拟环境，将患者指导、患者访谈、患者指导等医疗过程拍摄成360度高清视频，并根据选择的答案切换到不同的场景视频。在选择过程中，我们开发了一个人工智能机器人系统，允许学生通过使用语音向人工智能传达他们的答案来进入下一个场景。通过整合对VR图像中呈现的医疗环境和要传递的指令的AI分析，我们已经建立了下一代NOTECHS虚拟培训技术的初步基础技术。当我们对这项技术进行小规模示范评估测试时，很明显需要改进以提高人工智能的响应速度。我们还尝试了多人佩戴VR的对比测试，使用AI以自然语言分析他们的互动，并在模拟完成后对记录的数据进行分析。结果，参与者对两者给予了高度评价，表明它们作为不同的培训系统的有用性。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

AI technologies and potentials in clinical laboratory post pandemic

大流行后临床实验室的人工智能技术和潜力

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
H Nozaka
通讯作者：
H Nozaka

深層学習法を用いた異型リンパ球検出AI モデルの開発と評価

利用深度学习方法开发和评估非典型淋巴细胞检测AI模型

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
野坂大喜; 藤岡美幸; 小笠原脩; 櫛引美穂子
通讯作者：
櫛引美穂子

Approach to immature granulocytes discrimination with convolutional neural network in peripheral blood smear screening

外周血涂片筛查中卷积神经网络判别未成熟粒细胞的方法

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
H Nozaka; S Kimura; S Kaga; N Sakaiya; M Kushibiki; S Ogasawara; M Ishiyama; M Nakano; M Fujioka; K Kamata; K Yamagata
通讯作者：
K Yamagata

Approach to automated classification of nucleated blood cells in peripheral blood smear screening

外周血涂片筛查中有核血细胞自动分类的方法

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
H Nozaka; S Hirano; S Souma; A Kobayashi; S Ogasawara; M Kushibiki; M Ishiyama; M Nakano; M Fujioka; K Kamata; K Yamagata
通讯作者：
K Yamagata

言語技術学習が医療系学生のロジカルシンキングスキルとソーシャルスキルに与える効果

语言技术学习对医学生逻辑思维能力和社交能力的影响