基于多核一类SVM学习的视频总结算法研究

Existing state of the arts in video summarization is limited to the status, in which video features are extracted and subject to ranking according to their comparative weights among all video segments. The weakness lies in the fact that there exists semantics gap in such a feature based approach and hence leading to the difficulties of matching natural understanding of the video content. While recent research started to focus on SVM-based approaches towards semantics-based video processing and classifications, they are exposed to the problems that static kernel functions fail to capture the ever-varying nature of the input videos and hence making it inaccurate in classifications and summarizations. In this project, we propose to introduce a new concept of adaptive one-class SVM learning with dynamic optimization of multiple kernel function combinations and hence developing new algorithms towards more accurate, more effective and more representative video summarization.

目前的视频总结研究，主要停留在对视频内容特征提取，并对特征进行评估排序，选择比重较大的帧或镜头组成总结视频的阶段。但由于局限于低层次的内容特征而存在不能融合语义信息的缺点, 使得所产生的总结视频难以接近人们对视频内容的理解。从而不可避免地产生语义鸿沟，在实用中出现很多不足。虽然在近期的研究中，支持矢量机被尝试着用于视频处理和内容分类，但一般的支持矢量机存在对噪声比较敏感，单一核函数的非线性分类不够准确等问题。本项目提出一种新的视频总结的研究思路和方案，即采用基于一类支持矢量机及自适应多核函数的学习方法和监测观看视频的相关信息并对它们进行融合的手段，通过对视频内容提取语义信息及其用户行为的分析和深入研究，系统地提出一种多核自适应学习，代表性广，震撼力强且可连续播放的视频总结方案。为未来视频大数据的管理和分析，提供有效的解决方法。

视频总结是可视媒体大数据分析的一个重要工具。它能够让用户花很短的时间了解视频大数据的主要内容。目前有关视频总结的研究主要分为静态总结和动态总结。前者采用关键帧图像的方式，离散地总结视频大数据中的主要内容。后者则是采用很短的视频总结其中最有影响力的片段，让观众知道它的主题及精彩。传统的视频总结研究主要聚焦于视频特征提取，建模和优化。目前的研究则是利用机器学习智能地分析视频内容，从中决定主次内容的取舍。..本项目的主要研究内容包括三个方面。第一是对视频或提取的关键帧图像进行预处理，以突出和完成各部分相对视频总结的份量评估。所采用的策略有两种。一种是针对图像内的运动目标和场景直接展开分割，跟踪和识别，来确定它们的重要性。另一种是采用对视频低分辨率版本进行快速扫描和内容甄别，然后通过超分辨率重构的手段产生最后的总结内容。第二个方面是机器学习，包括无监督学习，半监督学习及有监督的深度学习等。主要的策略一方面是通过学习的手段更加精准地找到能够总结视频的内容，另一方面是利用对视频内容进行聚类和分类，来突出各部分在内容表达的作用。从而完成对视频总结内容的铺垫。第三个方面是基于内容选取的视频总结。主要手段是在机器学习结果的基础上，通过重要内容的检测，聚类和分类，来选取最有代表的内容构成对视频的总结。..项目执行期间在方法及理论上取得了一系列的科研成果。包括：（i）在无监督学习理论上提出了一种新的ensemble建模方法。通过结合常用的Bagging与Boosting手段实现对聚类结构的预测和优化；（ii）对图像的预处理提出了一系列新的思路及算法，包括以张量为主的特征提取，运动目标分割，跟踪和识别；（iii）对总结视频和图像的超分辨率重构，发展了一系列高效率和高质量的算法；（iv）从一类SVM学习到深度学习，提出了多种能够自适应于学习内容及目标的新颖算法和思路。项目执行期间共发表SCI杂志论文26篇，国际会议论文10篇，专利申请6项。

内容获取失败，请点击重试