基于属性信息参考的多模态图像身份验证方法研究

For social public security, it is important to effectively analyze the surveillance videos and conduct identity verification, which can help enhance daily security and criminal investigation. In this project, images obtained from different sources or sensors, such as low-quality surveillance image, high-quality ID photo, software generated composite sketch, and pedestrian image from different sensors, are called multi-modality images. These multi-modality images can help identity verification in surveillance videos. However, existing methods cannot fully exploit the attribute information obtained from surveillance images, such as gender and age, local character of facial components, and the relationship among the pedestrian images from monitors, which make them perform poor on surveillance image analysis and identity verification. In order to cope with these issues, this project intends to conduct research from the following three aspects: 1. By introducing attribute guided mechanism, we will conduct research on integrating automatic attribute detection algorithm into multi-modality face recognition task. 2. By establishing local description model for facial components, we will explore local discriminant information of facial components in multi-modality face recognition task. 3. We will conduct research on multi-modality person re-identification by taking the relationship among different pedestrian images into consideration. Through the research of this project, we hope to provide efficient and reliable technical support for social public security and law enforcement agencies.

在公共安全中对视频监控图像进行有效的分析和人员身份验证，在日常安保和刑侦破案中均具有重要意义。本项目中，将来自不同数据源或成像机理不同的图像（例如低分辨率监控照片、高清证件照、刑侦模拟画像，以及不同传感器采集的行人图像）统称为多模态图像。在实际中多模态图像可用于监控图像中人员的身份验证。然而现有方法未充分考虑到监控图像获取的额外属性信息，例如人员的性别、年龄，人脸五官的局部细节属性以及监控中不同行人固有身份属性之间的联系等，导致监控图像中人员身份验证准确率差。针对上述问题，本项目拟研究：（1）引入属性指导的思想，拟将属性自动识别集成到多模态图像识别任务中；（2）人脸局部细节属性描述模型，拟在多模态人脸识别任务中充分挖掘人脸五官部件的特征信息；（3）多模态行人重识别技术，拟将监控图像中不同行人固有身份属性之间的联系考虑进来辅助行人重识别。通过本项目研究将为安防和刑侦等领域的应用提供技术支撑。

在社会公共安全领域实际应用中，多模态图像广泛应用于视频监控中的图像分析与人员身份验证，对提高日常安保效率、案发时辅助锁定嫌疑人身份以及案发后的事发现场还原均具有重要的意义。例如，通常情况下监控视频中捕捉到的人脸图像往往分辨率比较低，且存在光照、姿态和表情的变化，然而警方公民数据库中的人脸证件照片往往是标准环境（正常光照、正面姿态和中性表情）采集的高清图像。由于监控照片与证件照片之间图像分辨率不同，且存在光照、姿态和表情差异，直接应用传统人脸识别方法在监控照片与证件照片的比对上很难取得满意的识别准确率，给视频监控中的人脸身份验证带来困难。本项目以多模态人脸图像为研究对象，主要的研究内容有：基于属性指导的多模态图像身份验证、基于局部细节属性的刑侦模拟画像识别、基于身份属性参考表示的多模态行人重识别。围绕以上研究内容，本项目提出一系列解决方案，代表性成果包括基于深度局部特征的跨模态人脸识别方法、基于概率图模型表示的多模态人脸识别方法、基于属性指导的多模态人脸识别方法、基于属性参考表示的多模态人脸识别方法、可信身份安全验证方法研究等。项目研究成果可用于支撑国家重大需求，如公安部“云剑”行动等。公安部部署全国公安机关开展 “云剑”行动，强力缉捕在逃人员，推动陈年积案的处理，助力平安城市建设。. 本项目的研究成果包括培养博士毕业生6名，硕士毕业生2名，在读硕士研究生6名；发表与项目相关并标注本基金资助的学术论文13篇，其中包括IEEE Trans.论文6篇，中科院一区/CCF A类论文7篇；获得国家发明专利2项，申请发明专利3项；相关成果已尝试在多个公安部门应用。项目负责人彭春蕾在此期间获得陕西省优秀博士学位论文、西安电子科技大学校优秀博士学位论文，并以第三完成人身份完成“属性监督的异质人脸图像合成与识别理论与方法”获得中国图象图形学学会自然科学二等奖。

内容获取失败，请点击重试