融合认知机理的概率图模型表情识别方法研究

Facial expression is the most intuitive way for human emotion expression and perception. Recent years have seen extensive research on facial expression are conducted on two different fields: one is expression cognition research based on Cognitive Science, and the other is expression recognition research base on Computer Science. However, some cognitive mechanisms revealed trough expression cognition research have important significance for reference in model design and learning in expression recognition research. In this study, the fMRI data of human brain during different facial expression cognition tasks will be collected, and some expression cognitive mechanisms will be explored through the analyses from different aspects. In light of the powerful abilities of Probabilistic Graphic Model on uncertainty inference and variable relation modeling, in this study, the facial expression methods will be studied based on probabilistic graphical models, and the cognitive mechanisms obtained during our expression cognition research will be adopted as hidden knowledge for structure learning and parameter learning. Finally, the effectiveness of the cognitive mechanisms will be verified and analyzed through the trained model parameters and expression recognition performance.

面部表情是人类进行情感表达和推理最直观的途径。近年来，研究人员主要在两个不同方面对表情进行了广泛而深入的研究：一方面是基于认知科学的表情认知研究，另一方面是基于计算机科学的表情识别研究。然而，表情认知研究中所揭示的表情认知机理却对表情识别研究中识别模型的设计和训练具有重要的参考意义。本研究试图通过设计不同条件下的表情认知实验，采集受试脑部的fMRI数据，进一步从不同方面进行分析揭示人类对表情认知的机理。鉴于概率图模型在不确定推理、变量关系建模等方面的优势，本研究将基于概率图模型进行表情识别方法的研究，并将所得到的表情认知机理作为隐性知识辅助表情识别模型中结构和参数学习，最终根据训练得到的模型参数以及识别效果对认知机理在表情识别中的作用进行验证和分析。

表情识别与分析技术在人机交互以及安防等领域都有广阔的应用前景，近年来融合认知机理和深度学习算法的情感分析技术逐渐成为研究热点。基于此，本项目借鉴人脑认知机理，尤其是人脑注意力机制，通过整合深度学习、图模型等机器学习算法，对表情识别及其相关关键问题进行了广泛的研究。首先，本项目首次将自适应注意力机制引入面部表情运动单元分析中，并将表情分析人物与人脸对齐任务综合考虑，提出了基于深度自适应注意力模型的表情运动单元检测与人脸对齐方法，并对受限玻尔兹曼机、条件随机场等图模型在表情识别中的应用进行了探索；其次，针对精细面部表情分析任务中数据量少、场景复杂的关键问题，提出了基于条件生成对抗模型的人脸表情合成算法，以及基于Helmholtz-Hodge分解的先验信息无关运动场分割方法；最后，为了后续多模态情感分析和语音相关的表情分析研究，围绕情感语音合成与识别、基于视觉的静默语音识别等展开了相关研究，并取得了一定的成果。本项目的研究成果对情感识别的理论研究和工程实现具有重要意义，同时也对复杂场景下融合认知机理的多模情感分析具有重要的学术价值和广阔的应用前景。

内容获取失败，请点击重试