基于感知增强理论的视觉显著性计算

Visual computing inspired by the selective attention mechanism of human visual system is at the frontier of computer vision. The vast majority of traditional visual saliency models are space-based, which do not take into account the perceptual organization and structural information of images, and are therefore unable to effectively cope with challenges posed by complex visual scenes in many real-world applications. This project aims to establish a novel computational framework for visual saliency, namely, object-based visual saliency, based on the Sensory Enhancement Theory of visual attention. Firstly, we will establish the generic computational framework of object-based visual saliency, which follows the paradigm of attention spreading along Gestalt cues as suggested by the Sensory Enhancement Theory. Secondly, we will concentrate on the two key fundamental issues: extraction and representation of Gestalt cues, and attention spreading, and propose the overall algorithmic solution. Finally, we will evaluate the performance of the proposed models and algorithms by experiments and applications, and make further improvements accordingly. Going from space-based visual saliency to object-based visual saliency, this project will promote the development of visual saliency computation, both theoretically and methodologically. It will also contribute by providing practical algorithms to enable the wide application of visual saliency in complex visual scenes.

受人类视觉系统选择性注意机制启发的视觉计算方法是当前计算机视觉领域的研究热点之一。传统的视觉显著性计算模型大多是基于空间位置的，没有充分考虑图像的感知组织和结构信息，因而无法有效地应对许多实际应用中复杂视觉场景带来的挑战。本课题拟以视觉注意的感知增强理论为基础，研究和建立一种新的视觉显著性计算框架，即基于对象的视觉显著性计算。首先，按照感知增强理论所提出的“注意信息沿着格式塔线索传播”的基本结构，建立基于对象的视觉显著性计算的一般框架；其次，围绕着图像格式塔线索的提取与表达、注意信息传播模型这两个关键问题开展算法研究，提出具体的算法实现方案；最后，通过实验，并结合具体应用，对模型和算法进行性能评估和进一步优化完善。本课题从“基于空间位置”到“基于对象”，发展了图像视觉显著性计算的理论和方法，同时能够为视觉显著性计算在复杂视觉场景下的广泛应用提供算法支持。

本项目围绕着基于对象的视觉显著性计算，着重针对计算框架、格式塔线索的提取与表达、注意信息传播模型等关键问题开展了深入研究：1）在计算框架方面，提出了一种用于基于对象视觉显著性计算的贝叶斯概率图模型框架，通过一个三层概率图模型实现底层视觉线索和中高层格式塔线索的融合，并采用一种迭代优化策略实现模型的高效求解。在公开数据集上的实验结果表明，该计算框架能够更好地应对复杂视觉场景和多显著对象带来的挑战；2）在格式塔线索的提取与表达，主要针对形状线索进行了研究，提出了一种基于形状先验约束优化的方法，取得了较好的实验结果；3）在注意信息传播模型方面，主要探索和提出了一种基于深度全引导网络的注意信息传播方法，采用类似于小样本目标检测的网络结构，通过中高层格式塔线索引导对象定位，实现显著性增强。在公开数据集上的大量实现表明，所提出方法可达到当前最优性能。此外，作为具体应用案例，研究了基于对象的视觉显著性机制在医学图像分析中的应用，在中耳疾病内镜图像辅助诊断数据集上的结果表明，视觉显著性机制可有效地提升图像分类诊断的准确性。

内容获取失败，请点击重试