The development of non-technical skills EBT technology for medical students by integrating AI and VR technology.

通过整合AI和VR技术，为医学生开发非技术技能EBT技术。

• 批准号: 22K18573
• 负责人: 野坂 大喜
• 金额: $ 3.99万
• 依托单位: Hirosaki University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-06-30 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K18573/
• 关键词: 人工知能; 仮想現実; ノンテクニカルスキル; 医学教育; シミュレーション; バーチャルリアリティ

【研究概要】チーム医療が主流となった現在の臨床現場において、ノンテクニカルスキル(NOTECHS)は医療安全の観点から必須の医療者共通スキルとされる。Society5.0による社会課題解決が課題とされる中、操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境構築を可能とするVRは,医療テクニカル教育技術として有用視されている。一方、 NOTECHS教育も医療環境をシミュレートした仮想トレーニング化が必要となるものの、教育手法は対面式に限定され、客観的根拠に基づく訓練(EBT)に基づくスキル評価法も確立していない。本研究は仮想医学教育技術とEBT手法の確立を目的とし『AIとVR技術の融合による医療系学生ノンテクニカルスキルEBT技術』の研究開発を実施した。【研究実績】2022年度研究では、AIとVRの融合による医療系学生向けNOTECHS仮想トレーニング技術の研究を実施した。患者案内や患者問診、患者指導などの医療行為を360度高精細動画にて撮影し、選択した解答に沿って異なるシナリオ動画へ移行していくVR型医療トレーニングシミュレーション環境を構築した。選択においては受講者が音声によりAIに解答を伝えることで次のシナリオへと進行していくAIボットシステムを開発した。VR映像で提示される医療環境と伝達指示のAI解析と融合化したことで、次世代型NOTECHS仮想トレーニング技術の初期基盤技術を確立した。本技術について小規模な実証評価試験を行ったところ、AIの応答速度の向上について改良の必要性が明らかとなった。また複数名にVRを着用させ、両者のやりとりをAIに自然言語解析し、記録データをシミュレーション終了後に解析する比較対照試験を試みた。その結果、両者ともに受講者評価が高く異なるトレーニングシステムとしての有用性が示唆された。

[研究综述]在当前团队医疗成为主流的临床环境下，从医疗安全的角度来看，非技术技能（NOTECHS）被认为是医疗专业人员必备的通用技能。虽然通过Society 5.0解决社会问题正在成为一个问题，但VR可以构建尽可能接近现实的虚拟空间模拟环境，而不会对操作者造成任何危险，被认为作为医疗技术教育很有用。技术。另一方面，虽然NOTECHS教育需要模拟医疗环境的虚拟培训，但教育方式仅限于面对面培训，并且尚未建立基于客观循证培训（EBT）的技能评估方法。本研究旨在建立虚拟医学教育技术和EBT方法，开展“利用AI与VR技术融合的医学生非技术技能EBT技术”的研发。 【研究成果】2022年研究中，我们结合AI和VR对医学生NOTECHS虚拟训练技术进行了研究。我们打造了VR式的医疗培训模拟环境，将患者指导、患者访谈、患者指导等医疗过程拍摄成360度高清视频，并根据选择的答案移动到不同的场景视频。在选择过程中，我们开发了一个人工智能机器人系统，允许学生通过使用语音向人工智能传达他们的答案来进入下一个场景。通过整合对VR图像中呈现的医疗环境和要传递的指令的AI分析，我们已经建立了下一代NOTECHS虚拟培训技术的初步基础技术。当我们对这项技术进行小规模示范评估测试时，很明显需要改进以提高人工智能的响应速度。我们还尝试了多人佩戴VR的对比测试，使用AI以自然语言分析他们的互动，并在模拟完成后对记录的数据进行分析。结果，这两个系统都获得了学生的高度评价，表明它们作为不同的培训系统的有用性。

项目成果

AI technologies and potentials in clinical laboratory post pandemic

大流行后临床实验室的人工智能技术和潜力

• 发表时间: 2022
• 作者: 野坂 大喜;藤岡 美幸;山形 和史;H Nozaka
• 通讯作者: H Nozaka

Approach to automated detection of atypical lymphocytes in peripheral blood smear screening

外周血涂片筛查中异型淋巴细胞的自动检测方法

• 发表时间: 2022
• 作者: H Nozaka;S Kaga;N Sakaiya;S Kimura;M Kushibiki;S Ogasawara;M Ishiyama;M Nakano;M Fujioka;K Kamata;K Yamagata
• 通讯作者: K Yamagata

Approach to immature granulocytes discrimination with convolutional neural network in peripheral blood smear screening

外周血涂片筛查中卷积神经网络鉴别未成熟粒细胞的方法

• 发表时间: 2022
• 作者: H Nozaka;S Kimura;S Kaga;N Sakaiya;M Kushibiki;S Ogasawara;M Ishiyama;M Nakano;M Fujioka;K Kamata;K Yamagata
• 通讯作者: K Yamagata

人工知能(AI)を用いた顆粒球系幼若細胞検出・分類技術の開発と評価

利用人工智能（AI）的年轻粒细胞检测和分类技术的开发和评估

• 发表时间: 2022
• 作者: 野坂 大喜;小笠原 脩;櫛引 美穂子;鎌田 耕輔;山形 和史
• 通讯作者: 山形 和史

Approach to automated classification of nucleated blood cells in peripheral blood smear screening

外周血涂片筛查中有核血细胞自动分类的方法

• 发表时间: 2022
• 作者: H Nozaka;S Hirano;S Souma;A Kobayashi;S Ogasawara;M Kushibiki;M Ishiyama;M Nakano;M Fujioka;K Kamata;K Yamagata
• 通讯作者: K Yamagata