可编辑三维电视中多视点视图合成理论与方法

Editable 3DTV is the next generation of stereo-display. The essential characteristics of 3DTV include the ability to change the views of users freely, to adjust the visual comfort as required, or to change the contents of a scene as desired, which show it is "editable". To be provided with these features, DIBR-based view synthesis technique should be used to generate 3D contents that the user desires in real time. Currently, the main problems of view synthesis are how to remove the "holes" and "folds" in synthesized image, and how to improve visual comfort. To resolve these scientific problems, this project will focus on the following topics. 1) Folds elimination: to analyze the qualitative representation and reasoning of spatial relations, present a QSR model of spatial objects for DIBR-based view synthesis, and propose a qualitative reasoning method based on the QSR model. Hence, the rendering order of the spatial objects from multi reference views can be determined, and the "folds" can be removed if the rendering order is followed. 2) Hole-filling: to propose the theory of General 3D Image Warping, and realize the General-3D-Image-Warping transformations of DTS (Delaunay triangulation structure) and MV (motion vector) according to the theory. Thus, the spatiotemporal correlation of the image can be used for hole-filling through this type of transformation. 3) Visual comfort improvement: to propose a method of visual comfort improvement based on depth conception. This project is expected to present new theory and new method to resolve the main problems of view synthesis, which will expand the applications of the latter in the industry.

可编辑三维电视是下一代立体显示设备，其特点是允许用户自由切换视角，可按需调节视觉舒适度以及改变场景内容，从而表现出可编辑性。要满足这些特性，需要采用基于DIBR 的视图合成技术以按需实时生成3D内容。目前视图合成存在的主要问题是如何消除空洞和褶皱现象，改善视觉舒适度。针对这些科学问题，本项目拟：1) 通过对空间关系定性表示与推理的研究，建立适用于DIBR视图合成的三维空间对象的定性空间关系表示(QSR)模型，提出基于该模型的定性推理方法，实现多幅参考图像中三维空间对象绘制顺序的排序，从而消除褶皱；2) 提出泛三维图像变换理论，并根据该理论实现图像Delaunay三角剖分结构、运动矢量的泛三维图像变换，使得能够利用图像的时空相关性进行空洞填充；3) 提出基于深度感知的立体视觉舒适度改善方法。项目研究成果有望为目前视图合成中遇到的难题提供新理论和新方法，进而促进这一技术的产业应用。

允许用户自由切换视角、可按需调节视觉舒适度以及随心所欲改变场景内容，是新一代3D电视应具有的基本特征。而这一切都有赖于基于DIBR的视图合成技术。但基于DIBR的视图合成技术存在空洞和褶皱现象，且易导致视觉疲劳。本项目的主要研究内容，便是如何解决这些问题。.本项目在褶皱消除、空洞填充及人眼视觉机理及视觉舒适度改善方法等方面填补了理论分析的空白，在实时视图合成系统的实现及应用等方面取得了一系列成果：. (1) 褶皱消除. (a) 利用图论理论，提出了基于超像素的NCut图像分割方法SLIC_NCut。(b) 提出了一种对称差分和联合双边滤波相结合的运动目标分割方法。 (c) 提出了基于图像清晰度的深度估计算法。(d) 提出了一种深度估计算法。该算法引入了视觉注意机制及新的模板，并结合了项目组提出的对称帧间差分法和联合双边滤波相结合的运动目标分割方法。(e) 提出了一种通过视图判定来确定参考图像像素点扫描顺序的方法，并证明了该方法的正确性。该方法能正确消除褶皱。. (2) 空洞填充. (a) 证明了在平行摄像机设置中，如果目标图像是左视图，则空洞右边的像素一定是背景像素；如果目标摄像机是右视图，则空洞左边的像素一定是前景像素。根据这一结论，提出了一种基于视差图的空洞填充算法，该算法不会产生几何扭曲现象，且硬件实现简单。(b) 针对基线比较长的情况，提出了一种基于视差图和图像修复的空洞填充算法。(c) 提出了基于泛三维图像变换的空洞填充方法。该方法适合平行摄像机设置。(d) 提出了时空空洞填充方法。该方法适合非平行摄像机设置。. (3) 立体视觉舒适度改善. (a) 发现了深度感知-视差曲线，提出了深度调节方法，并通过深度调节实验，证实了改善立体视觉舒适度的可行性。(b) 发现了观看裸眼3D视频时可能会产生视觉诱导晕动症。. (4) 实时系统设计与实现. (a) 提出了膜计算模型，建立了基于类细胞模型的算术运算P系统和逻辑运算P系统。(b) 实现了实时高清2D转3D系统。(c) 提出了基于DIBR的裸眼3D内容生成算法和多视图图像融合算法，实现了实时裸眼3D播放系统。

内容获取失败，请点击重试