面向表现力增强的图像自动优化重构关键算法研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61170142
项目类别：
面上项目
资助金额：
55.0万
负责人：
宋明黎
依托单位：
浙江大学
学科分类：
F0210.计算机图像视频处理与多媒体技术
结题年份：
2015
批准年份：
2011
项目状态：
已结题
起止时间：
2012-01-01 至2015-12-31

项目参与者：
李娜；张鹿鸣；王宝元；邓小宇；黄晓钦；王森林；周卓立；郝凯；
关键词：
感知先验学习图像自动优化重构图像主体内容分析图像表现力构图学习

项目摘要

表现力是高质量图像的灵魂，它反映了该图像满足人们对感知其主体内容所要求的色彩、对比度以及构图等视觉特征分布的能力，通过图像自动优化重构提高图像的表现力是一个新的研究课题。针对图像表现力与人类视觉感知密切相关的特点，首先，基于眼动跟踪进行人类视觉系统的感知先验学习，在此基础上构造并实现基于感知先验的图像主体内容分析算法，然后通过有标注的高表现力图像进行构图学习，最后，提取反应图像主体内容的视觉要素，构造一个基于视觉要素保持与构图优化的视觉信息最大化框架模型，实现图像的自动优化重构。.本项目将为媒体出版、网上冲印、电子商务、移动终端应用以及图像摘要显示等领域的应用提供理论成果、算法基础和实现技术，具有重要的研究价值和应用意义。

结项摘要

中文摘要(对项目的背景、主要研究内容、重要结果、关键数据及其科学意义等做简单概述，1000字以内)：..通过自动优化重构提高图像的表现力在计算摄影学领域一直是一个有趣而有挑战性的问题。针对图像自动优化重构这一课题，项目组主要进行了视觉感知先验学习、图像主体内容分析、构图几何学习以及图像自动优化重构等四个方面的内容。.（1）视觉感知先验学习方面，通过采集眼动跟踪标注数据对颜色、对比度、亮度等的感知先验进行了学习，项目组提出了随机几何先验森林算法，实现了更为准确和鲁棒的画面解析。项目组研发了新的三维视线估计系统，通过对人脸、人眼、屏幕的三维建模，实现对视觉关注过程的参数化，并通过在线定标获得模型参数，性能明显优于现有方法。.（2）图像主体内容分析方面，提出通过半监督节点分裂算法构造随机森林思想，解决了利用少量样本进行随机森林训练的问题。进一步地，提出了基于最近邻标签传递策略的弱监督分割方法用于图像中多类目标分割，使得训练数据标注工作量进一步降低。此外，项目组提出的半监督耦合字典学习方法，使我们对不同角度相同目标的查询变得容易。.（3）构图几何学习方面，对高得分构图照片，基于图表达对构图几何进行学习，提出了面向视觉场景分类的高区分度Graphlet特征发掘，获得了不同场景的典型结构分布。提出了基于blocklet稀疏编码的建筑物类型识别，对历史古建筑的框架风格进行了学习，从而找出建筑物最有表现力的部分。最后提出了基于概率graphlet割的弱监督图像分割，实现了一种新的图像的语义分割方法。.（4）图像自动优化重构，首先提出了基于亮通道先验的图像曝光矫正以及基于L1范式平滑的图像色调稳定。另外，结合构图几何约束和视觉要素表现力最大化需要，先后提出了基于概率Graphlet迁移的照片裁剪算法和基于弱监督的照片裁剪算法，实现的原始照片的构图优化。最后，提出了一个旅游照人-景构图推荐算法，实现站位的动态实时推荐。.综上，本项目共发表论文35篇，其中SCI检索23篇，EI检索19篇，包括IEEE TIP、CVPR等CCF A类论文12篇。授权国家发明专利2项、软件著作权1项，获得2014年浙江省科技进步一等奖1项。这些研究成果解决了图像优化重构应用的核心问题，体现了较高的理论和应用价值。