診療中の映像に基づく歯科診療の手技アルゴリズムの推定

基于治疗过程中图像的牙科治疗技术算法评估

基本信息

批准号：
22K18211
负责人：
岡真太郎
金额：
$ 2.91万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K18211/
关键词：
歯科治療医療安全機械学習

项目摘要

今年度の研究においてはまず、実際の診療を複数のカメラで記録し蓄積するデータベースの構築を行い、電子カルテシステムを参照することで処置内容を確認できるシステムの構築を行った。このシステムは患者の個人情報に配慮し、同意の得られた患者の診療中のみ映像を記録し、それ以外の場合は映像を記録しないよう、患者に合わせて半自動でシステムの動作を制御する仕組みを実装している。このシステムにより、診療中の術者・患者の動作、口腔内の様子、使用する器具の状況を半自動で蓄積可能となった。器具を置く台を写した映像に対して処置の特徴を取り出すために、一般物体認識モデルであるYOLOv4およびYOLOv7で器具を高確率に検出するための効率的なアノテーション手法について研究を行い、「An efficient annotation method for image recognition of dental instruments」のタイトルでScientific Reportsへ掲載された。この方法を用いてトレー上の映像を、器具の種類とその個数を示す時系列情報に変換し、う蝕処置、歯周処置、根管貼薬処置、根管充填処置の4種の診療内容を分類する手法の研究を行っている。この時系列情報に対して従来から一般的に用いられる再帰ニューラルネットワーク(RNN)の一種であるLSTMをそのまま用いても焼く50%程度でしか診療内容を分類することができないが、RNNを用いないニューラルネットワークを用いることで、高い精度で分類できることが明らかとなっている。

在今年的研究中，我们首先构建了一个使用多个摄像头记录和积累实际医疗情况的数据库，并创建了一个允许患者参考电子病历系统确认治疗细节的系统。该系统考虑患者的个人信息，根据患者以半自动的方式控制系统的运行，仅在征得患者同意的医疗期间记录图像，其他时间不记录图像已实施。该系统可以半自动记录外科医生和患者在治疗过程中的动作、口腔状态以及所用器械的状态。为了从放置器械的桌子图像中提取治疗特征，我们研究了一种使用通用对象识别模型 YOLOv4 和 YOLOv7 检测高概率器械的有效注释方法。该论文发表在《科学》杂志上。报告标题为“牙科器械图像识别的高效注释方法”。使用这种方法，托盘上的图像被转换为显示仪器类型和数量的时间序列信息，并进行四种类型的治疗：龋齿治疗、牙周治疗、根管补片治疗和根管充填治疗。开展分类方法研究。即使按原样使用 LSTM（一种常用于此类时间序列信息的循环神经网络 (RNN)），也只能在大约 50% 的时间内对医疗内容进行分类，但不能使用 RNN 已经很明显，神经网络可以用于高精度分类。