基于深度特征学习和扩增的图像显著性检测算法研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61806147
项目类别：
青年科学基金项目
资助金额：
21.0万
负责人：
罗烨
依托单位：
同济大学
学科分类：
F0604.机器感知与机器视觉
结题年份：
2021
批准年份：
2018
项目状态：
已结题
起止时间：
2019-01-01 至2021-12-31

项目参与者：
Laurent Itti；朱丹丹；张国凯；谭靖儒；陈锞；徐艺璇；赵德芳；
关键词：
显著性检测显著性区域分割显著性分析显著性特征提取

项目摘要

As the proliferation of deep learning, deep convolutional neural network (CNN) based visual saliency detection has recently attracted a great amount of research interest. This project mainly focuses on solving the problems of deep feature extraction and its reutilization on data augmentation during the estimation of image saliency via CNN. The performance of visual saliency detection can be further improved by designing a local and global feature learning method based on ResNet, by performing feature augmentation on intermediate layers of ResNet, and by learning multi-scale adversarial features based on GAN. By tackling the key problems, we propose a series of algorithms including accurate and robust deep features learning for data augmentation and for saliency detection. Experimental results on several public datasets validate the proposed theoretical results and technological achievements. The research of this project can provide the theoretical and technical basis for the applications of saliency detection technologies in the real computer vision system, and it is of great significance to enhance the performance of the saliency detection systems.

本项目旨在解决利用深度神经网络进行图像显著性检测中深度特征的提取和特征的扩增问题。通过基于深度残差网络的局部、全局特征相结合的显著性检测算法、基于多尺度对抗特征学习的显著性检测方法、以及基于网络学习所得的深度特征进行数据扩增的方法，完善基于深度神经网络的图像显著性检测理论体系。突破关键技术问题，提出一套充分利用高层语义特征进行图像描述、数据扩增、以及显著性检测的完整算法。在国际公开的多个数据集上，对本项目所取得的理论和技术成果进行验证。本项目的研究为图像的显著性检测技术推广应用到其他计算机视觉领域奠定了理论和技术基础，对进一步了解人类视觉系统具有重要的理论意义和实际应用价值。

结项摘要

本项目旨在解决利用深度神经网络进行图像显著性检测中深度特征的提取和特征的扩增问题，以及尝试和推广本项目开展过程中研究所得的理论和方法在计算机视觉相关领域的应用。本项目的主要研究内容和重要成果包括：首先，提出基于深度残差网络的局部/全局特征相结合的显著性目标检测模型，避免网络退化的同时将相应特征生成的局部、全局显著图通过Bayesian 融合，实现既有均匀目标区域又有精确目标边缘的显著目标检测。其次，提出一种基于特征扩增的深度网络正则化方法，验证了利用深度特征图进行数据扩增提升卷积神经网络泛化性能的可能性，且避免了传统数据扩增带来的像素显著性标签改变的问题；提出基于FBGAN的图像生成和增强网络模型，通过生成大量真实训练样本实现提升神经网络泛化性能的目标；研究利用半监督Few-shot学习解决分割网络的泛化能力，提出基于泊松学习的半监督Few-shot分割网络模型。再次，针对显著性检测方法研究中多尺度深度特征的学习问题，我们提出基于生成对抗网络的多尺度对抗特征学习的图像显著性检测算法、侧重解决小目标检测的两级网络级联网络L_SNet、多尺度多模态融合的肝脏肿瘤以及皮肤癌分割网络。最后，在视觉注意力分析模型的应用方面上也进行了一系列的相关领域探索，包括基于注意力机制的场景模式分析和安全度因素挖掘、自然图像去模糊、医学图像分割分类检测等。整个项目研究开展期间共发表科研论文16篇：其中国际学术期刊11篇（中科院1区期刊1篇，中科院2区期刊1篇），国际学术会议5篇（CCF-B类会议2篇）。参加国内外学术会议11次；申请发明专利4项。联合培养博士研究生5名、硕士研究生4名，独立培养硕士研究生6名，指导与本项目相关的4名本科生完成毕业设计。总之，本项目的研究实现了更精确完整的自然图像显著性目标检测结果，对完善视觉显著性检测理论体系，推广显著性检测技术到实际视觉系统中，进一步拓展深度学习技术的应用领域等，都起到重要的理论意义和实际应用价值。