陕北地区三维文物修复中形状分析与深度学习点云配准研究

Shape is the most intuitive visual information of 3D object, which plays a critical role in heritage conversation and digitization. Shape analysis and point cloud registration technology belongs to the interdisciplinary of computer vision and digital geometry processing，it’s a prospective and fundamental issue，and plays key value in artfacts restoration and conversation, now become into a research focus in recently around world. Aiming at the existing method need to rely on section characteristics, the contour, texture, and the problem of prior knowledge，This research with 3D discrete point cloud data of fragments of cultural relics as the research object, in deep geometrical features and topology analysis of cultural relics and other characteristics, on the basis of multi-scale tetrahedron approximation at pieces of cultural relics as a starting point, by means of constructing a framework for deep learning for 3D shape classification to form the inner relation of multi-scale shape feature clustering; To establish arbitrary shape, quantity indetermination, fragments mixed and movable cultural relics has deficiencies three-dimensional reassemble effective mechanism; Irregular 3D shape matching technology and utilization of structure, texture, color and so on a priori information of the effective methods to improve the restoration effect, for the three dimensional shape deep learning and shape registration to provide new train of thought. The results of the study can be applied to the 3 d shape matching, retrieval, corresponding, segmentation, etc, to promote the development of related areas play a positive role.

形状是三维物体最直观的视觉信息，在文物保护和文物数字化方面具有至关重要的作用。形状分析与点云配准技术属于计算机视觉和数字几何分析的交叉学科，是具有前沿性的基础研究课题，也是文物修复与保护的关键技术之一，成为近年来国内外在该领域的研究热点。针对现有方法依赖断面特征、轮廓、纹理以及先验知识的问题，本研究以三维文物碎块的离散点云数据为研究对象，在分析文物几何特征、拓扑特征的基础上，以文物碎块的多尺度四面体逼近为出发点，以构建深度学习框架为手段进行三维形状分类，形成内在关联的多尺度形状特征聚类；拟建立形状任意、数量不确定、碎块混杂且存在缺失的可移动文物碎块三维拼接的有效机制；探索不规则三维形状配准技术和利用结构、纹理、色彩等先验信息提升文物修复效果的有效方法，为三维形状深度学习和拼接提供新的思路。该研究成果可以应用到三维形状匹配、检索、对应、分割等领域，对推动相关领域的发展起到积极的作用。

本项目以三维文物碎块的离散点云数据为研究对象，在分析文物几何特征、拓扑特征的基础上，以文物碎块的多尺度四面体逼近为出发点，以构建深度学习框架为手段进行三维形状分类，形成内在关联的多尺度形状特征聚类；拟建立形状任意、数量不确定、碎块混杂且存在缺失的可移动文物碎块三维拼接的有效机制；探索不规则三维形状配准技术和利用结构、纹理、色彩等先验信息提升文物修复效果的有效方法，为三维形状深度学习和拼接提供新的思路。该研究成果可以应用到三维形状匹配、检索、对应、分割等领域，对推动相关领域的发展起到积极的作用。 .围绕研究内容，项目实施中以图的顶点覆盖作为基本优化策略，以张量分解与网络结构搜索作为深度学习网络模型优化与压缩手段，实现三维文物分类深度网络模型从理论研究推向应用实践。研究了点云分割等深度模型，并提出了面向特定应用的改进算法。针对图像、图形、文本等三维文物修复常见的数据模态，提出了半张量积多模态融合方法。面向人脸等特定修复对象，研究了基于生成对抗网络的网络模型算法，并在公开数据集上取得领先的性能指标。.为进一步推广本研究成果，项目组将核心理论研究成果与区域经济社会发展需求相结合，开发了应用平台并取得了良好效果。通过研究取得了系列研究成果，通过国内外同行建立了联合的合作与交流，培养了多名优秀研究生，项目组成员也得到了良好的锻炼效果。

内容获取失败，请点击重试