高分辨率和结构保持的深度几何模型表达与生成

Generating high quality 3d geometry remains a hard problem in computer graphics community. We take advantage of recent progress on deep neural network based 3d shape understanding, representation and generation, and focus on the issues of structure broken, low resolution and missing data when generates 3d shape from point cloud that is relatively low resolution or different to the training dataset. Then we propose a new deep geometry encoder that decouples geometry and structure knowledge into separate latent spaces. The network would be able to encode the input into geometry and structure latent codes from the same category, and then uses the same code to recover the shape. Learning this new representation from our new designed self-supervised auto-encoder, and then retraining on a generative adversarial network will creates higher resolution and structure preserved 3d model. The GAN generates signed distance function firstly, and the shape is achieved by marching cube on the SDF then. Structure is the abstract of shape, and we can use the learned structure space to restrict the structure generation within same class. The structure itself can help to improve the generation of geometry details. After that, motivated by the mutual boost nature between structure and geometry, we propose a hybrid network which contains two types of decoder, to produce structure and geometry iteratively, and to improve the structure and the high quality details finally. We will practically test our two networks consecutively on partial 3d scanning which may contains noisy and missing data, and try to augment the structure and resolution of the input.

高质量三维形状生成一直是计算机图形学领域的难点问题之一。本项目立足于当前深度神经网络在三维形状理解、表达和生成所取得的进展，针对最新算法在低分辨率或不同于训练数据集的输入时，出现的生成形状的几何结构不保持、分辨率不高和细节缺失等问题，提出一种几何和结构分离的深度几何编码网络。通过学习相对抽象的结构和更为具象的几何两个独立隐空间，以及基于隐式曲面表达的形状生成器，来生成更高分辨率且结构保持的三维形状。结构是形状的抽象表达，通过结构学习，可以更好约束同类对象的结构生成，而且准确的结构对几何细节生成亦有帮助。进一步地，由于几何和结构之间天然的互补性质，我们设计几何生成器和结构生成器嵌套的复合网络，迭代地对形状降噪并提升形状质量。最后我们拟在低分辨率及缺失数据的三维扫描上试验，完成缺失数据补全和提高分辨率等任务。

随着数字几何设备和技术的普及和当前深度学习技术的快速发展，数字几何内容的生成正在变得越来越容易。随着技术深入发展，基于深度学习的几何表示和生成方法也面临新的问题，比如生成的形状的几何分辨率不高、细节缺失以及几何结构不保持等，未能满足人们对高质量几何内容的要求，限制了三维内容的推广应用。..针对这些问题，本项目针对三维形状的表示和生成技术进行创新，提出了一系列技术方案，包括创新三维几何的结构和细节表示技术、几何细节增强技术（包括噪声滤波和细节提升）、面向大规模缺失数据的几何补全技术和基于单张图像的三维建模技术等，实现高分辨率几何和结构保持这一目标。..项目取得了以下几方面成果：1）三维几何的结构化表示和生成；2）高频率几何细节建模和增强；3）三维形状补全；4）基于单张图像的三维重建。研究成果发表在计算机图形学和计算机视觉领域的期刊和会议上，包括CVPR, ECCV, 3DV, Visual Informatics等高水平会议和期刊。..本项目面向数字几何内容建模和生成技术，提出一系列智能几何表示和处理技术，支持结构保持、高质量细节的几何形状生成，这些技术解决了当前几何深度学习领域的一些难点问题，同时扩展了当前数字几何内容的生成能力。研究具有理论和实际价值。这些方法可以集成到消费级硬件系统，比如三维扫描仪上和摄像头上，对采集的图像或几何数据进行三维建模和细节增强，实现精细几何形状的获取。

内容获取失败，请点击重试