IT technology based research to investigate relationship between patients facial and voice expression and mental status or patient satisfaction

基于IT技术的研究，调查患者面部和声音表达与精神状态或患者满意度之间的关系

基本信息

批准号：
21K07362
负责人：
竹村洋典
金额：
$ 1.83万
依托单位：
Tokyo Women's Medical University (2022)Chiba University (2021)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K07362/
关键词：
表情音声感情満足非言語コミュニケーション ICT 患者満足 ICT／AI

项目摘要

プライマリ・ケアにおける精神疾患の見逃しは大きな問題である。研究代表者はこれまで言語的コミュニケーションによって効果的な身体疾患の診断に資する面接技法を調査研究したが、言語的コミュニケーションでは抑うつ気分などの感情状態や精神疾患を明らかにするのは困難であることがわかっている。臨床的には表情や音声などの非言語コミュニケーションが、精神疾患の診断に有用と考えらえる。患者満足度などは、多くの場合非言語にて伝えられることが多い。これまでの研究では、表情認識や音声認識の精度に限界があったが、現在、ＩＴ企業と共同研究で表情分析、音声分析が可能となりつつある。本研究では、多くの医療面接の録画録音データを使用して、患者の表情・音声データなどの特徴量と、質問紙にて測定した患者の抑うつ度、不安度、そして患者満足度などの教師データとの関連を明らかにする。これによって非精神科医においても、ICTを補助的に使用し、不安やうつ病などを認知できるようになると考える。また、患者満足度を認識したり、患者満足度を増加させる医療面接も明らかになる可能性がある。そのために2021年度はフェーズ１：表情や音声の情報抽出技術の開発、フェーズ２：医療面接のデータ収集行った。2022年度は研究代表者が大学の異動があり、移動先の大学におけるデータ収集のために、研究倫理審査を受けた。また大手企業と共同で、表情や音声の情報抽出技術の開発のためのさらなる開発（さらなる特徴量を得るためのクラスタリングなど）を行った。新型コロナ禍で、すべての患者がマスクをしていたため、重要な表情の特長量である口角の情報が取れなかったこと、また代表研究者の異動もありブランクがあったことなどて研究がやや遅れているが、2023年度に挽回できると考えている。

在初级保健中忽略精神疾病是一个主要问题。研究人员此前曾研究过通过口头交流有效诊断身体疾病的访谈技术，但发现很难识别出具有口头交流的情绪状态，例如抑郁症和精神疾病。临床上，非语言交流（例如面部表情和声音）可以被认为是对诊断精神疾病的有用。患者的满意度通常是非语言的。先前的研究限制了面部表情识别和语音识别的准确性，但是现在，与IT公司的协作研究变得有可能进行面部表达分析和语音分析。在这项研究中，使用许多医学访谈的录音来澄清特征数量（例如患者面部表情和音频数据）与使用问卷调查的患者抑郁，焦虑和患者满意度等教师数据之间的关系。这将帮助非精神科医生使用ICT作为一种辅助方法来帮助他们识别焦虑和抑郁。还可能会揭示认识到患者满意度并提高患者满意度的医学访谈。为此，2021年是阶段1：开发面部表情和声音的信息提取技术，从第2阶段：医学访谈收集了数据。 2022年，首席调查员被转移到大学，并接受了研究伦理审查，以收集他被转学的大学数据。此外，我们为开发面部表情和声音的信息提取技术进行了进一步的开发（例如聚类以获取其他特征量）。由于199例大流行，所有患者都戴着口罩，因此该研究被推迟了，事实上，他们无法获得有关口腔角落的信息，这是重要的面部表情，差距也是由于代表性研究人员的转移，但我们相信我们可以在2023年弥补这一点。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

特集ジェネラリストの羅針盤-医学部では教わらなかった28のクエスチョンジェネラリストはここまで診よう! 身体疾患と精神疾患を同時に診るときに気をつけることは?

专题：全科医生的指南针 - 医学院没有教过的28个问题全科医生应该检查一下，同时诊断身体和精神疾病时应该注意什么？

DOI：
10.11477/mf.1402228245
发表时间：
2022
期刊：
medicina
影响因子：
0
作者：
Minami Imai;Mari Kawamura;Ikoi Kochi;Tetsuro Matsuoka;Shinji Kihara;Hiroyasu Yamamoto;吉永望結　安岡竜平　木原進士　山本浩靖;竹村　洋典
通讯作者：
竹村　洋典

レイケル総合診療テキスト

雷切尔一般医疗文本