基于标签和多特征融合的图像语义空间学习技术研究

Semantic gap has been a long standing research challenge for intelligent image analysis problems. To this end, researchers have been continually proposing different image feature descriptors, in order to capture the intrinsic semantics of images. However, the importance of a feature descriptor may vary in different problems. Therefore, the fundamental problem that how to combine different feature descriptors to properly address a concrete intelligent image analysis problem is becoming more and more important in practice. On the other hand, users in Web 2.0 Websites have generated a large amont of tag annotation data for images. As an effective semantic description of images, tags have a high potential value in guiding the fusion of different image feature descriptors. This project will address tag-based semantic feature space learning for images from multiple image feature descriptors. The research goals include: (1) construciting a large scale tag-annotated image dataset, with noise images detected and removed; (2) recognizing tags representing visual semantics and removing those which are irrelevant to visual contents; (3) assessing semantic relationships among tags and constructing the semantic network of tags; (4) developing segmentation techniques for extracting foreground semantic objects in images; (5) constructing the heterogeneous affinity graph among tags and images and learning the optimal semantic feature speace which best preserves the affinity graph's structure, and also learning the projective (fusion) function which projects images from the orignial multi-feature space into the learned semantic space.

语义鸿沟问题是图像智能分析的主要挑战之一。为此，研究人员提出各种图像特征，以期捕捉图像的内在语义。然而，不同的特征有其自身的优缺点，在不同应用问题中的重要性不是一成不变的。面对众多图像特征，如何结合利用它们来较好地解决具体图像智能分析问题已成为迫切需要解决的基础性问题。另一方面，Web 2.0社会化网站产生了大量图像标签标注数据。作为图像的语义描述信息，标签在指导图像特征融合方面具有很大潜在价值。本课题将研究基于标签标注数据和多种图像特征的图像语义特征空间学习问题。研究内容包括：（1）创建大规模标签标注图像集，检测并过滤噪声图片；（2）过滤非视觉语义标签；（3）衡量标签语义关系并构建标签语义关联网络；（4）研究剥离背景并提取图片中语义对象的图像分割技术；（5）构建包含标签和图片的异质关联网络，学习最优保持关联结构的语义特征空间及映射（融合）函数。

语义鸿沟问题是图像检索和识别等问题的主要挑战之一。为此，研究人员提出各种图像特征，以期捕捉图像的内在语义。然而，不同的特征有其自身的优缺点，在不同的应用问题中的重要性不是一成不变的。面对众多的图像特征，如何结合利用它们来较好地解决具体图像应用问题已成为迫切需要解决的基础性问题。另一方面，Web 2.0社会化应用产生了大量图像标签标注数据。作为图像的语义描述信息，标签在指导图像特征融合方面具有很大潜在价值。在此背景下，本项目从以下四方面开展研究工作，取得显著成果：（1）垃圾数据过滤：提出一种面向高质量主题相关资源获取的聚焦爬虫；（2）标签语义处理和噪声影响去除：结合流形学习思想提出一种针对标签数据的图排序框架；解决了复杂关联情况下的标签特征选择问题；采用弱监督学习方式直接利用标签弱标注信息学习语义空间；（3）图像语义空间学习：基于矩阵分解、流行学习等技术思想提出了一系列图像高层语义空间学习方法，并在分类、聚类等应用问题上进行了方法验证；（4）语义空间随时间演化的分析建模：提出概率图生成模型和时间敏感的长短时记忆网络来实现演化分析建模。共发表成果论文17篇，其中中国计算机学会A类期刊/会议论文9篇。联合出版学术专著1部。项目负责人成功获批国家优青项目。培养博士生3人，硕士生6人。

内容获取失败，请点击重试