[发明专利]基于多尺度点云上采样的三维模型建立、修复方法及系统

说明书

本发明属于三维数字化文物修复领域，公开了一种基于多尺度点云上采样的三维模型建立、修复方法及系统。修复方法首先对文物数据集进行预处理；其次通过识别孔洞获取缺失区域，并将网格模型转化为点云模型；接着基于多尺度点云上采样GAN网络补全缺失点云模型；最后提取补全点云模型中的孔洞区域与原始模型合并完成三维形状复原。本发明的方法得到的三维文物补全结果从点云密集度和形状真实感上都更加接近原始模型，能够保持数字化文物模型的完整性，为后续文物拼接提供依据。

技术领域

本发明属于三维数字化文物修复领域，尤其涉及一种基于多尺度点云上采样的三维模型建立、修复方法及系统。

背景技术

由于自然环境导致的表面腐蚀和出土破坏等因素，很多兵马俑出土时表面极易出现破裂、孔洞和残缺，不仅导致模型失去了本身的完整性，而且影响了三维虚拟展示、模型拼接等后续处理过程。传统文物修复采用手工翻模或黏土塑形，这类接触式修复方式不可避免会对文物造成二次损伤。近年来，随着三维激光扫描、虚拟现实和可视化等技术的发展，利用新技术为文物保护提供科学和精确的数据和支撑，已经成为当前文物保护的重要科研方向。三维数字化修复是计算机图形学和数字几何领域的重要问题。

现有模型修补算法方法主要基于三维进行修复，分为基于模板匹配和网格曲面的传统几何方法，以及基于体素和点云的深度神经网络。基于模板的填充方法适用于修复有较大孔洞的三维模型，最简单的方法是从三维模版库中寻找与缺失区域相似的块用于填充孔洞，将模板填充到模型缺损位置。基于网格曲面的方法可以用于修复较小的孔洞，利用三维网格的拓扑关系对孔洞区域拟合重构。然而由于传统的几何方法采用曲率和拓扑结构等信息进行创建，对于尖锐复杂的几何特征无法准确修复，且运行算法效率低。基于体素和点云的方法是针对三维模型不同的表示形式学习先验知识补全缺失区域。深度学习的最新进展在3D形状补全方面有很好的表现。早期的工作通过体素卷积网络将不完整模型补全为完整模型，但是体素化模型时会丢失部分几何信息导致模型分辨率受到限制。点云数据为三维模型提供更简洁的表示，随着Pointnet的提出，为卷积网络直接作用于无序的点云上提供可能。许多研究使用编码器将输入的点云数据转化为潜在向量，再使用解码器解码回点云数据。随着GAN网络在三维模型上得到很好的应用，很多方法将GAN和AE结合在一起融合了AE对三维物体的重建能力和GAN的鉴别器的指导能力。是目前主流的算法。

与传统的修复方法相比，基于深度学习的方法有更合理的填充结果，然而基于点云的方法要求点云的大小是恒定值，例如，输入大小通常为1024或2048。由于三维文物模型的结构复杂多样，除非对点云进行降采样，否则不可能直接将它们输入到基于点云的网络中。但是在下采样的过程中会缺失部分细节特征，导致生成模型分辨率低。无法在生成高分辨率且表面均匀的情况下补全具有较多特征信息文物模型。

发明内容

本发明的目的在于提供一种基于多尺度点云上采样的模型建立、修复方法及系统，用以解决现有技术中的对于文物的三维模型构建精度低的问题。

为了实现上述任务，本发明采用以下技术方案：

基于多尺度点云上采样的模型建立方法，包括如下步骤：

步骤1：获取三维数据，对三维数据进行预处理，获得点云数据；

步骤2：对点云数据依次进行三次下采样，分别获得第一尺度点云数据、第二尺度点云数据和第三尺度点云数据；

步骤3：建立多尺度点云上采样GAN网络模型，所述多尺度点云上采样GAN网络模型包括三个生成器，还包括每个生成器对应的鉴别器；

将第一尺度点云数据、第二尺度点云数据和第三尺度点云数据分别输入三组生成器，输出第一尺度生成点云数据、第二尺度生成点云数据和第三尺度生成点云数据并在鉴别器里分别与步骤1的点云数据对比，根据对比结果对多尺度点云上采样GAN网络模型进行训练，训练好的多尺度点云上采样GAN网络模型作为三维点云模型。