[发明专利]一种基于深度学习的超分辨率点云生成方法

说明书

本发明公开一种基于深度学习的超分辨率点云生成方法。该方法结合传统点云的细分插值算法和深度神经网络来生成理想的超分辨率点云。在第一阶段使用一种改进的局部细分插值算法将输入的稀疏点云进行插值操作；第二个步骤，使用深度神经网络来进行进一步的点坐标位置调优，依靠神经网络强大的学习能力输出对插值点的调整值。在神经网络中，加入了外积操作将全局的特征向量转变成外积矩阵。外积矩阵的引入能够方便的使用卷积网络进行特征的进一步处理，同时能够减少网络的参数。与原有的细分插值算法和基于神经网络的超分辨点云生成方法相比，本方法不仅在误差控制和点均匀度分布上都取得了更好的结果，可以应用在模型渲染和曲面重建等场景。

技术领域

本发明属于计算机图形三维视觉领域，具体地说是一种两步法的超分辨率点云生成的框架。

背景技术

目前，三维点云数据为国内外研究的一个热点，其中核心问题是通过对点云数据处理来获得对真实世界的感知和理解。本发明立足于这一研究热点，对超分辨点云生成进行了相关的探索和研究。

自从深度传感器设备的普及，很多学者都投入到三维点云数据的研究中，并提出了许多有效的点云数据处理的方法。自动驾驶，无人机等技术的兴起也带动了点云处理的发展，借助近年来在图像处理领域大热的卷积神经网络使得点云处理的进展得到长足的进步。目前，国内外研究现状如下：

最早关于点云上采样的方法是由Alexa提出，该方法首先计算出点云表面一个移动最小二乘平面，然后构造出Voronoi图，最后将点插入在Voronoi图中最大半径的圆中。随后Guennebaud等人提出另一种上采样方法，该方法通过查询最近的邻域然后构造多边形来完成点云的插值同时能够保证插值过程的实时性。Huang等人提出了一种边缘感知的点云重采样方法。首先，该方法重新采样远离边缘的部分，然后逐渐接近边缘和角落。以上是一些传统的点云上采样的方法，这些上采样方法都需要满足一些特定的条件并且这些算法的参数都需要手动选定。

新兴的基于神经网络的方法则可以能通过学习到许多非线性的函数来完成三维点云的分类，切割等任务。首个将神经网络应用到点云上面的工作是Qi等人提出的PointNet,该网络能够以原始的点云数据包含(X,Y,Z)坐标作为输入，然后进行物体分类，物件分割，场景理解等任务。利用神经网络进行超分辨点云生成的网络PU-Net由Yu等人首先提出，该方法能够学习输入的点云patch不同层次的特征，再通过KNN进行插入新的点，然后利用(Earth Mover Distance)EMD、(Chamfer Distance)CD距离来优化插值之后输出的patch和真实的patch之间的误差。

发明内容

本发明针对上述现有技术的不足，本文提出一种两阶段的超分辨率点云生成框架。框架的第一步是基于已有的一些插值算法进行适当的改进得到初步的上采样点云，第二步再结合深度神经网络来优化调整插值后的点云，达到更精准的三维点云模型。

本发明采用的技术方案：一种两阶段的超分辨率点云生成框架,基于该框架的过程包括以下步骤：

步骤1：使用泊松采样把点云模型进行下采样；

步骤2：用改进的插值算法将输入的点云模型进行上采样；

步骤3：将步骤2中得到新插入的点构造数据集，将点云模型中需要调整的点查询到的邻域填充成patch与标签一一对应；

步骤4：利用深度神经网络将数据集进行训练，神经网络输出为patch中心坐标的偏移值；

步骤5：最后用输出的偏移量修正点的坐标位置(ΔX,ΔY,ΔZ)；

其中步骤2中用改进的插值算法将输入的点云模型进行上采样具体包括以下步骤：

步骤(1)：将下采样后的点云模型进行插值操作，使用最近邻KNN找出中心点的第一环邻域；