[发明专利]一种基于深度学习和体素的三维点云补全方法

说明书

本发明公开了一种基于深度学习和体素的三维点云补全方法，包括以下步骤：步骤1：采集不同类别的原始物体模型；步骤2：对原始物体模型进行预处理，得到残缺点云和完整点云；步骤3：用经过预处理后的残缺点云和完整点云训练体素深度神经网络模型；步骤4：采集待补全的残缺点云并进行预处理；步骤5：根据步骤3得到的训练好的模型用步骤4得到的预处理后的点云作为输入进行点云补全。本方法融合了体素和点云结构的优点，通过使用不同类别的物体点云训练深度学习网络模型，再利用训练好的模型对残缺点云进行补全，得到具有细节的、均匀的、多分辨率的补全结果，解决了传统算法难以解决的问题。

技术领域

本发明涉及一种基于深度学习和体素的三维点云补全方法，属于计算机视觉、三维点云等技术领域。

背景技术

随着科学技术的高速发展，人们已经不满足于二维图像的使用，而是着力于研究三维物体的生成和表示。其中在自动驾驶、即时定位与地图构建、数字与虚拟城市及社区、建筑设计等诸多领域，用点云表示三维模型的方式已经得到广泛的应用。然而由于受到目前激光雷达、手持扫描仪的使用限制，扫描完整的模型点云费时费力。此外，对于室外等大型现实场景中，想要围绕物体一周扫描完整的模型点云是不可取的。因此，对于扫描到的残缺的三维点云进行补全具有很大的应用价值和现实意义。

随着机器学习算法的发展和深度学习领域的推进，越来越多的深度学习模型被用于三维点云补全，如点云补全网络PCN(Point completion network)、结构化点云解码器TopNet和级联细化网络CRN(Cascaded Refinement Network)等方法。但是目前的点云补全方法具有一定的局限性：有的方法利用纯体素的网络结构，受到体素分辨率的严重限制，并且在转换过程中造成不可避免的误差；有的方法使用纯点云表示在网络中进行学习，但这些方法在补全的细节上不够完整，且具有错误的部分。此外，上述方法均没有考虑到生成点云的均匀性，也无法生成具有多分辨率的结果。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于深度学习和体素的三维点云补全方法。

为了解决上述技术问题，本发明公开了一种基于深度学习和体素的三维点云补全方法，包括以下步骤：

步骤1，采集不同类别的原始物体模型；

步骤2，对原始物体模型进行预处理，得到残缺点云和完整点云；

步骤3，用经过预处理后的残缺点云和完整点云训练体素深度神经网络模型；

步骤4，采集待补全的残缺点云并进行预处理；

步骤5，将步骤4得到的预处理后的点云输入步骤3得到的训练好的体素深度神经网络模型进行点云补全。

在一种实现方式中，所述步骤1中的原始物体模型为OBJ(object，对象)模型或者点云模型，所述OBJ模型是一种3D模型文件格式，包括原始物体的所有三角形面片位置和对应三角形顶点坐标，所述点云模型指原始物体模型是由一系列点组成的点云集合。

在一种实现方式中，步骤2包含以下步骤：

步骤2-1，若原始物体模型为OBJ模型，在所有三角形面片上进行均匀采样，获得原始物体模型的点云集合；

步骤2-2，对原始物体模型进行归一化，将其x,y,z坐标限定在[-1,1]区间内；该步骤是为了消除不同尺度的模型对训练的影响。

步骤2-3，对归一化后的物体模型进行均匀采样，获取固定数量2048个点，作为完整点云；此步骤是方便后续网络训练中计算损失函数并误差回传，采样2048个点是为了保证网络学习效果的同时降低损失函数的计算量。