多模态脑机接口及其在意识障碍患者中的应用研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61876067
项目类别：
面上项目
资助金额：
16.0万
负责人：
潘家辉
依托单位：
华南师范大学
学科分类：
F0609.认知与神经科学启发的人工智‍能
结题年份：
2019
批准年份：
2018
项目状态：
已结题
起止时间：
2019-01-01 至2019-12-31

项目参与者：
梁艳；张承忠；苏海；申淑媛；吴干华；彭丰平；徐欢；黄泳锐；
关键词：
脑机交互视觉脑机接口模式分类脑电图多模式脑机接口

项目摘要

In this study, we focus on the research and development of multimodal Brain-Computer Interface (BCI) and the key problems in its application of patients with disorders of consciousness (DOC). The main research contents include as follow: (1) we study the information integration mechanism of audio-visual stimuli and the influence of congruence; (2) we study a novel stimuli paradigm to combine multisensory channels, and propose an audio-visual multimodal BCI; (3) An audio-visual multimodal BCI system for patients with DOC will be developed for awareness detection. The research results of this project can expand the new way of designing multimodal BCI, and further improve the practicability and applicability of BCI in clinical application.

本项目将针对多模态脑机接口及其在意识障碍患者应用领域中的关键问题开展研究，开发适用于意识障碍患者的多模态脑机接口系统，主要研究内容包括：（1）研究视听交互刺激的信息整合机制，以及时间、空间、和语义匹配度对刺激效果的影响；（2）研究整合视听双通道的两种多模态刺激范式，提出了基于视听觉双通道注意的多模态脑机接口；（3）研发适用于意识障碍患者的多模态脑机接口系统，应用于意识障碍患者的意识检测。本项目的研究成果可拓展多模态脑机接口的设计新途径，并进一步提高脑机接口在临床应用上的实用性和适用性。

结项摘要

意识障碍患者完全瘫痪，严重缺乏行为反应，不能与外界交流，其意识检测与临床诊断是困扰国内外临床医生的难题。脑机接口技术直接从脑信号中解码信息，不依赖病人的行为反应，为解决这个难题提供了可能途径。本项目将针对意识障碍患者意识检测难点问题，研究多模态脑机接口技术，并研发适用于意识障碍患者的多模态脑机接口系统。主要研究内容包括：（1）研究了视听交互刺激的信息整合机制，以及时间、空间、和语义匹配度对刺激效果的影响，提出了一种与注视无关的视听觉脑机接口；（2）研究整合视听双通道的两种多模态刺激范式，提出了基于视听觉双通道注意的多模态脑机接口，提出了一个基于EEG的视听觉脑-机接口系统，用于检测意识障碍患者的情绪识别能力；（3）研发适用于意识障碍患者的多模态脑机接口系统，在中国人民解放军南部战区总医院神经康复一科、广东省工伤康复医院颅脑损伤科等医院进行意识障碍患者意识检测的临床应用。本项目的研究成果可拓展多模态脑机接口的设计新途径，并进一步提高脑机接口在临床应用上的实用性和适用性。