[发明专利]一种基于FPFH特征和深度神经网络的点云超分辨率方法

说明书

本发明公开了一种基于FPFH特征和深度神经网络的点云超分辨率方法，包括：获取公开点云超分辨率数据集，构建训练集、验证集，并做归一化处理；估计低分辨率点云的法向量，使用估计的法向量计算点云的FPFH特征；构建一个基于密集连接1×1卷积核卷积神经网络、k近邻图和特征扩充的深度神经网络；将低分辨率点云的坐标和FPFH特征输入神经网络，联合对应样本的高分辨率点云，以监督学习的方式训练神经网络，输出得到高分辨率点云；在测试集上评估网络模型的超分辨率性能。本发明设计的神经网络可以动态设置网络参数量，算法可以关注更多的表面几何信息，生成的高分辨率点云距离真实点云分布更近，超分辨率效果优于主流方法。

技术领域

本发明涉及计算机视觉中的点云超分辨率技术领域，特别是涉及一种基于FPFH特征和深度神经网络的点云超分辨率方法。

背景技术

点云是一种三维空间下的图像格式，一般通过三维激光扫描仪等三维图像采集设备对现实世界的物体进行三维扫描获得。点云数据结构简化灵活，表达能力强，使用科学方法处理点云信息，对资源勘探、城市规划、农业开发、环境监测等工程应用的辅助工作有着积极作用。受制于采集设备的精度和采集距离，直接采集的点云容易出现点数分布不均、局部点数量小等问题，致使获取的信息量不足，一般需要根据实际三维物体的具体表面分布，由人工进行后处理修复，从而使点云数据更好应用于工业。点云超分辨率是一种根据已有点云的空间几何结构，自适应对点云进行点数升采样的算法。使用该算法处理低分辨率点云，有助于降低人工修复难度，增加点云的细节信息。

与图像相比，点云数据结构不规则，一般不能直接输入卷积神经网络训练。传统点云超分辨率算法需要充分的计算机图形学知识，计算三维空间的特定几何特征，估计点云表面，计算出中间点进行插值，实现点云的超分辨率。这些方法大多基于点云表面光滑的先验假设，对物体边缘、尖锐部分的超分辨率效果一般。在只有点云点坐标的情况下，这些算法需要对每个点的法向量进行估计，升采样结果过于依赖点云法向量的计算精度。另外，真实点云数据的噪声具有多样性，传统算法受噪声影响大，不适合噪声来源复杂、噪声强度大的场景。

自从PointNet等应用于点云处理的深度神经网络诞生以来，研究人员将目光投射到基于深度学习方法的点云处理上，使用神经网络模型提取点云的空间几何信息、深度语义信息，并用深度学习的分类、回归等方法获取目标结果。PointNet等深度神经网络提供了有效的点云信息提取的神经网络模板，这些网络在点云分割、点云目标检测等分类、回归任务的应用中取得了显著的成果。点云超分辨率任务则要求神经网络具备一定的生成能力，尽可能理解输入点云的空间几何架构，对局部信息的抽取、全局信息和局部信息的融合等有了更高要求。早期用于点云超分辨率的深度神经网络基本参照了PointNet、PointNet++的信息抽取模式，这些信息抽取方法较好地解决了点云数据不规则、难以输入神经网络处理的问题，可以有效提取点云的全局信息，基于PointNet++的方法可以生成多尺度的特征图，使深度神经网络可以关注不同尺度的局部信息。这些方法通过提取全局、局部信息，对最终点云超分辨率效果的提升有着积极作用。然而，这些信息提取方法对局部特征没有显式的定义，细节信息抽取能力不够强，训练过程对神经网络的自适应调整依赖度高，应对表面分布差异大的样本时，算法的超分辨率效果良莠不齐。

近年来，基于深度神经网络的点云超分辨率方法呈现出百花齐放的趋势，这些网络的结构差异大。深度学习方法一般通过设计特定的特征扩充网络实现点云点数的升采样，目前的特征扩充网络设计方案各异，在不同场景下各有优劣。虽然不能取代传统方法，但深度神经网络具有强大的拟合能力，训练后的网络对来自多种环境、多尺度的点云数据有更高的适应度，受噪声影响小，许多场景下超分辨率效果超越了传统方法。基于深度神经网络的点云超分辨率还有待进一步发展，具有着一定的研究价值。

发明内容