[发明专利]一种基于生成对抗网络的点云三维重建方法与系统

说明书

本发明公开了一种基于生成对抗网络的点云三维重建方法与系统。包括：首先处理等待重建的点云数据，其次搭建生成器模块和判别器模块，然后对生成器和判别器进行多次对抗训练得到训练完成后的生成器，最终训练完成的生成器生成的就是等待重建的点云数据对应的三维模型。本发明以已经拥有的点云数据为基准最终得到相对应的三维模型，能够应用于多种多样的单个物体，并且在多个模型的不同部分的拼接任务中能够生成较为光滑的过度区域，而不会很出现非常突兀的变化，其次损失函数的设计更好地加快网络模型的收敛速度，体现点云数据的三维特性，最终生成的对应三维模型精确度更高。

技术领域

本发明涉及三维重建，深度学习领域，具体涉及一种基于生成对抗网络的点云三维重建方法、系统、设备及存储介质。

背景技术

近些年来，随着互联网和多媒体技术不断地发展、数字设备和大容量存储设备的普及，三维点云数据的应用也走进人们的视野之中。例如在虚拟现实中可以人们可以通过手绘而得到三维模型。又比如在自动驾驶中通过激光扫描的到三维的点云数据，在经过一定的处理使得计算机能够根据点云数据辨别当时所处的环境，知道哪里有障碍物，从而推断出汽车之后要如何通行。除此之外，三维模型也广泛应用于视频以及游戏制作之中。

三维重建技术是计算机图形学中的一个重要研究方向。它是指通过处理一些已知的数据从而推测原来的三维模型。例如通过一个物体的多张不同角度的图片来合成原来的三维物体，或者通过带有深度信息的图像来推测出三维物体，还有就是通过三维点云数据来获得三维模型等。近几年来随着深度学习的迅速发展，人们也将深度学习应用于三维点云数据的分类分割任务之中，并且取得了比较好的效果。通过深度学习技术计算机能够较好的将点云进行语义分割，从而知道哪些点云是属于同一类的，这在自动驾驶技术的研究中具有重要的意义。此外也有将深度学习应用于三维重建的研究，也取得了较好的效果。

目前的现有技术之一是一种基于深度学习的管道三维重建方法、系统、介质及设备，该技术方案为：(1)利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；(2)利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；(3)用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；(4)用实际的三维组件模型替代图中的节点以完成整个管道重建。其缺点是：此方案并不是针对点云数据进行三维重建，而是通过点云的到各个点云的所属的组件，在通过使用已存在的三维组件来完成整个管道，此方案专门用于实现管道的三维重建，其通用性不强。

目前的现有技术之二是一种基于RGB数据与生成对抗网络的点云三维重建方法，该技术方案为：(1)使用便宜的普通相机捕获二维图像；(2)通过生成对抗网络从单个RGB图像生成深度图像估计；(3)通过生成训练数据深度相机的参数生成深度图像估计，根据深度计算得到三维点云数据；(4)通过球面映射得到粗略表面模型，最后使用判别器对模型判别以得到完整的三维模型。其缺点是：(1)此方案通过二维图像来获得点云数据，之后再进行三维重建。注意到从二维图像来获得点云数据，这其中是通过估计实现的，因此这里必定会出现一定的损失。(2)此外三维重建过程中采用的是简单的球面映射，再通过细化得到完整的三维模型，通过这种方法得到的三维模型只是粗略的近似，所得三维模型不够精确。

发明内容

本发明的目的是克服现有方法的不足，提出了一种基于生成对抗网络的点云三维重建方法。本发明解决的主要问题：一是现有的三维重建技术大多针对专门的物体或场景而设计的，普适性不够强的问题；二是通过二维图像获取点云数据导致数据损失的问题；三是通过简单映射而建立的三维模型导致模型精度不高的问题。

为了解决上述问题，本发明提出了一种基于生成对抗网络的点云三维重建方法，所述方法包括：

处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；