放射線診断学の画像とレポートを用いた深層学習の応用

使用诊断放射学图像和报告进行深度学习的应用

• 批准号: 22K07665
• 负责人: 西尾 瑞穂
• 金额: $ 2.58万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K07665/
• 关键词: 深層学習; 自然言語処理; 放射線診断学; クロスモーダル学習; 医用画像処理; 医用自然言語処理

Radimagenetと呼ばれる100万枚ほどのラベル付きの放射線画像を利用できるようになったため、放射線画像に関する深層学習の基盤モデルの作成を行った。Radimagenetをベースにすることで、医用画像に関する様々な用途に利用可能なモデルを開発できる可能性がある。今回開発した基盤モデルからの派生モデルも作成中である。JMIDと呼ばれる日本医学放射線学会が管理・運用するデータベースを利用できるようになった。JMIDのデータベースには100万件以上のCT・MRI検査（数億枚のCT・MRI画像）があるとされ、これを用いることで医用画像の基盤モデルの作成の高性能化が期待できる。また、胸部単純レントゲン写真からレポートの文章を生成するシステムのプロトタイプを作成した。現状では、胸部単純レントゲン写真から英語のレポートのみを出力するモデルとなる。現在は、英語のレポートだけでなく、日本語のレポートを出力できるようモデルを改造している。放射線診断レポートに関する自然言語処理として、named entity recognitionを行うモデルを作成した。また、放射線診断レポートから肺癌のTNM分類を推定するモデルの作成も行った。これらに関する論文を執筆し、NTCIR16で発表した。また、医療画像に関する深層学習のモデルを複数作り、その論文が掲載された。主なものとしては、前立腺癌の自動スコアのモデル、骨転移の自動検出のモデル、COVID19を自動診断するモデルなどがあげられる。

现在有大约一百万个标记的辐射图像称为adadimagenet，我们创建了一个用于辐射图像的深度学习的基础模型。通过使用Radimagenet，有可能开发可用于各种医学成像应用的模型。我们目前还正在从开发的基础模型中创建一个衍生模型。现已提供由日本医学和放射学会管理和运营的名为JMID的数据库。据说JMID数据库中有超过100万个CT/MRI测试（数百万个CT/MRI图像），并且可以通过使用这些测试来提高为医疗图像创建基本模型的性能。我们还创建了一个系统的原型，该系统从简单的胸部X光片生成报告文本。当前，该模型仅从简单的胸部X射线上输出英语报告。目前，该模型正在修改，以便它不仅可以输出英语报告，还可以输出日语报告。命名实体识别的模型被创建为用于辐射诊断报告的自然语言处理。我们还创建了一个模型来估计从放射诊断报告中估算肺癌的TNM分类。他写了一篇关于这些论文，并在NTCIR16上发表了论文。此外，已经创建了多种用于医学成像的深度学习模型，并且已经发表了论文。主要类型包括用于自动前列腺癌评分的模型，自动检测骨转移的模型以及用于自动诊断CoVID19的模型。

项目成果

University of Zurich(スイス)

苏黎世大学（瑞士）

Dalle Molle Institute(スイス)

达勒莫勒研究所（瑞士）

Approach for Named Entity Recognition and Case Identification Implemented by ZuKyo-JA Sub-team at the NTCIR-16 Real-MedNLP Task

ZuKyo-JA 子团队在 NTCIR-16 Real-MedNLP 任务中实施的命名实体识别和病例识别方法

• 发表时间: 2022
• 期刊: Proceedings of NTCIR-16
• 作者: Koji Fujimoto;Mizuho Nishio;Osamu Sugiyama;Kana Ichikawa;Joseph Cornelius;Oscar Lithgow-Serrano;Vani Kanjirangat;Aron N Horvath;Farhad Nooralahzadeh;Michael Krauthammer;Fabio Rinaldi
• 通讯作者: Fabio Rinaldi