跨模态的多语种新闻热点人物标识方法研究

News character identification plays an important role in news comprehension analysis and retrieval. Multiple name-multiple face correlation analysis is a key and difficult problem for large-scale online automatic identification news character. The name and face are the main aspects of personal identity, which carrying the text and image information of the news respectively. This project intends to use the co-occurrence information between the image and the text to carry out similarity measure and semantic analysis of cross-modality, and research on the automatic identification of hot people in multi-lingual news. The main innovative research of the project includes: 1) For the problem of name annotation in multi-lingual network news, the project researches on using the context information of news person name to establish a high recognition rate model of name annotation, and construct a high quality model of name translation based on the trait of multi-lingual news characters. 2) Aiming at solving the problem of face representation in the large-scale network news, the project proposes an optimization method of face feature representation by jointing recurrent convolutional neural network and local Gabor binary pattern histogram sequence, for reducing the false accept rate and false reject rate. 3) For the problem of multiple name-multiple face correlation modeling, this project studies the complementarity of multi-source information in multi-lingual news to construct a name theme network based on cross-modality, and enhances the accuracy. The research results not only improve the ability of computers to analyze and understand cross-media news, but also pave good ways for news retrieval, news person retrieval and personal news retrieval.

新闻人物标识在新闻理解分析和检索中起着重要作用，多人名-多人脸关联分析是大规模网络新闻人物标识的关键和难点问题。人名和人脸是人物鉴别的主要方面，分别承载着新闻的文本和图像信息，本项目拟利用图像与文本信息，进行跨模态的数据相似性计算和语义分析，开展多语种新闻热点人物标识方法研究。主要研究包括：1）针对多语种网络新闻的人名标识问题，研究利用新闻人名上下文建立高识别率的人名标识模型，根据多语种新闻人名特点构建高质量的人名翻译模型。2）针对大规模网络新闻人物的人脸表示问题，提出联合递归卷积神经网络与局部Gabor二值模式直方图序列的人脸特征表示方法，从而降低误识率和拒识率。3）针对多人名-多人脸关系建模问题，研究利用多语种新闻多源信息的互补性，构建跨模态的新闻人名主题网络，提升人物标识的准确率。研究成果可提高计算机对跨模态新闻的理解能力，且为网络新闻检索、新闻人物检索、人物新闻检索等研究奠定基础。

按项目申报书要求，本项目围绕跨模态的多语种新闻热点人物标识方法开展研究，主要研究网络新闻的人名标识与多语种新闻人名翻译方法、网络新闻人物的人脸表示方法、多语种网络新闻的多人名-多人脸关系建模方法。拟在国际高水平期刊与会议发表论文4-5篇，申请发明专利1-2项。培养硕士研究生2-3名。三年来，项目组成员围绕既定目标进行深入研究并取得较大科研进展。具体而言，在新闻人名标识方面，提出融合ALBert+Bi-LSTM+CRF的命名实体识别算法，有效提高新闻人名标识的准确率、召回率和F1值；在多语种新闻人名翻译方面，提出基于最优传输理论进行信息对齐的多语种神经机器翻译算法，有效提升翻译质量。在新闻人脸表示方面，提出融合迁移学习与注意力增强网络的佩戴口罩人脸识别算法，有效提高佩戴口罩人脸识别的准确率；在多人名-多人脸关系建模方面，提出基于知识图谱的新闻多人名-多人脸关系建模算法，有效提升跨模态数据融合效果。基于上述研究内容，项目共发表论文6篇，其中包含Applied Sciences、Multimedia tools and application、Discrete Dynamics in Nature and Society等SCI论文4篇，申请发明专利4项，授权发明专利1项，指导硕士研究生3人，已完成项目计划书制定的所有目标。项目负责人目前正积极与企业开展合作，有望将项目研究成果进行试点与推广。

内容获取失败，请点击重试