[发明专利]多阶段深度学习的点云超分辨率方法、系统及电子设备

说明书

本发明公开了一种多阶段深度学习的点云超分辨率方法、系统及电子设备，涉及计算机视觉中的点云超分辨率领域，该方法包括将稀疏点云数据输入至基于Transformer架构多阶段深度学习的点云超分辨率网络中，得到精细化密集点云数据；点云超分辨率网络包括：提取稀疏点云数据的高级语义特征信息，生成初步粗糙密集点云；根据稀疏点云数据的高级语义特征信息和初步粗糙密集点云的高级语义特征信息，生成点云细节结构特征信息；根据点云细节结构特征信息生成点云坐标偏移量；将点云坐标偏移量和初步粗糙密集点云的空间坐标相加，得到精细化密集点云数据。本发明在点云超分辨率网络各个模块相互协作下，更高质量的提升了输入点云的分辨率。

技术领域

本发明涉及计算机视觉中的点云超分辨率技术领域，特别是涉及一种多阶段深度学习的点云超分辨率方法、系统及电子设备。

背景技术

在深度扫描设备使用愈发广泛的今天，点云数据作为三维数据的主流表示形式，相比于二维图像数据，蕴含有大量的深度信息以及更加丰富的显式或隐式状态下的空间几何信息。得益于点云数据的上述特性，点云数据被广泛使用于3D目标检测、无人驾驶汽车、智能机器人的研发和地形图测绘、古建筑重建、三维城市地图构建等领域中。例如：在3D目标检测领域，由激光雷达对现实世界直接扫描得到描述现实世界的点云数据，目标检测网络将对输入的点云数据的特征抽象编码，并从这些特征中实现对现实世界中的各类物体的分类和识别。正如人眼观察物体一样，对物体观察的越细致，对物体的分类和识别就会越准确。同理，如果传入目标检测网络的点云数据分辨率越高，那么目标检测网络能提取到每个物体的特征就会越丰富，进而对物体的分类和识别就会越准确。

然而，由于硬件技术和在点云数据获取过程中计算的制约，使得从深度扫描设备获得的点云数据往往是稀疏并且带有噪声的，这些稀疏且夹杂噪声的点云数据无法被直接使用于上述场景。

基于以上原因，提升点云数据的分辨率就变得尤为重要。从问题本质出发，很直观的，人们需要从稀疏且夹杂噪声的点云数据中生成符合事物外表结构且分布均匀、密集的点云数据。传统做法通常使用各种投影算子来处理任务，如：曲面重构和点上采样。Alexa等人通过移动最小二乘投影算子得到局部切线空间Voronoi图，并在图的顶点插入新的点实现点集上采样。Lipman等基于原始投影机制，提出了一种局部最优投影(LOP)算子，用于点集上采样和曲面重构。即使输入点集含有噪声及异常值，该算子仍能发挥良好的性能。之后，由于LOP算子极易受点集密度的影响，Huang等人将局部自适应密度权重合并到LOP算子中，提出了一种改进的加权LOP算子来解决点集密度问题。虽然这两种算子均取得了良好的效果，但它们首先假设下垫面是光滑的，因而限制了这两种方法的适用范围。Huang等人放宽此前提条件，保留部分非光滑边缘特征，提出一种边缘感知点集重采样方法，并设计了一个各向异性的双边LOP算子。然而此方法的效果严重依赖给定点的平面法线的准确性。在此之后，Wu等提出将优化曲面和骨骼点混合成有效点集的深度点表示方法，实现对大孔洞物体的补全。总的来说，上述方法均不是由数据驱动的，严重依赖于研究人员对局部几何物体法线估计等先验知识，或者假设点云形状光滑不存在尖锐结构等，在某些情况下效果不佳。近年来，随着计算机算力的迅速提升，神经网络与深度学习模型已经在计算机视觉、自然语言处理等领域证明了其强大的特征提取能力，基于深度学习的点云超分辨率网络表现出比传统算法更加强大的超分辨能力。现有的基于深度学习的点云超分辨网络通常由两个部分组成，首先经过特征提取模块将输入点云由三维坐标空间映射到高维几何特征空间中，然后设计损失函数使得网络从高维特征空间推理出密集、均匀的三维点云数据。换句话说，通过特征提取模块得到的高维几何特征空间不仅要包含丰富的目标物体的全局几何信息，同时也要关注到局部边缘化信息。然而，一阶段网络往往很难同时满足这些要求；此外，现有网络容易忽略点云内部点与点之间丰富的上下文语义和几何信息，使得稀疏点云经超分辨网络后局部结构失真严重。

发明内容

针对目前主流点云超分辨率方法生成点云局部细节缺失，结构不完整，容易失真，现有的点云超分辨率网络很难在关注物体全局信息的同时又关注其局部细节信息等缺点，本发明提供了一种多阶段深度学习的点云超分辨率方法、系统及电子设备。