[发明专利]一种融合形状结构恢复和细节补偿的点云数据修复方法

说明书

本发明涉及一种融合形状结构恢复和细节补偿的点云数据修复方法。本发明包括全局结构恢复分支和局部细节补偿分支的点云修复网络对点云数据进行修复；全局结构恢复分支采用编码器‑解码器结构，对输入的缺失点云数据进行粗修复得到补全结构信息的粗修复点云；局部细节补偿分支则在学习输入缺失点云几何细节的基础上得到重塑点云；最后对两个分支的输出进行拼接融合并经迭代最远点采样生成保细节信息的、采样点分布均匀的形状精修复结果。本发明针对三维点云形状修复中难以有效保持原始形状细节结构信息的局限性，采用双分支点云修复网络，在修复原始点云形状的整体结构信息的同时能有效恢复其形状细节并生成采样点分布均匀的完整三维点云模型。

技术领域

本发明属于点云数据修复技术领域，涉及一种融合形状结构恢复和细节补偿的点云数据修复方法。

背景技术

由于利用三维扫描仪、深度相机、深度传感器等获取的扫描数据呈现为离散点云数据，无论是机器人识别和抓取、自动驾驶路径规划亦或移动平台即时定位与地图实时构建等实际应用中均要求智能体与周围环境直接进行交互，这些需要依赖完整的三维点云形状数据。然而，点云扫描数据获取过程中往往由于相机扫描设备视角单一、场景物体的自身遮挡、扫描精度不高等原因，获取得到的离散点云数据通常表现为分布稀疏、局部扫描或不完整数据，而残缺的点云扫描数据在实际应用中往往会带来诸如识别不准确、检测难度增加、重建精度低等缺陷，因而需要对缺失点云数据进行修复补全。

已有的三维点云修复网络大多数采用传统的编码器-解码器结构对点云模型进行修复补全，其侧重点在于点云形状全局结构信息的修复补全，而对点云形状细节信息的恢复则不足，因此传统的点云补全网络在修复点云形状时难以合成点云物体的精细细节特征。在点云修复网络的编码器-解码器结构中，根据输入的缺失点云数据，编码器首先将点云数据提取特征并压缩成低维全局特征向量，解码器则将压缩后得到的特征码字进行解码转换为完整点云数据；然而，通常传统的编码器-解码器结构并没有充分利用原始点云模型的形状结构和细节信息，所以其在点云修复补全过程中弱化了点云的细节特征，其对形状结构的恢复具有一定局限性，修复后的点云也很难保持均匀分布。

发明内容

本发明的目的就是提供一种融合形状结构恢复和细节补偿的点云数据修复方法。针对三维点云形状修复中难以有效保持原始形状细节结构信息的局限性，借助于神经网络的几何学习机制，提出一种融合形状全局结构恢复和局部细节补偿的双分支点云修复网络，该网络在修复原始点云形状的整体结构信息的同时能有效恢复其形状细节并生成采样点分布均匀的完整三维点云模型。

本发明基于包括全局结构恢复分支和局部细节补偿分支的点云修复网络对点云数据进行修复；全局结构恢复分支采用编码器-解码器结构，首先对输入的缺失点云数据进行粗修复得到补全结构信息的粗修复点云，但其缺乏形状局部几何细节；局部细节补偿分支则在学习输入缺失点云几何细节的基础上得到重塑点云；最后对两个分支的输出进行拼接融合并经迭代最远点采样(IFPS)生成保细节信息的、采样点分布均匀的形状精修复结果。

具体包括以下步骤：

1)将原始点云数据输入编码器，利用最大池化操作以聚合全局特征解决原始输入点云的旋转性和无序性问题，并通过多层感知器编码得到带全局信息的特征码字；解码器对输入的特征码字使用4个2D网格进行两次折叠操作以拟合点云形状粗修复结果。

2)局部细节补偿分支利用在编码器中得到的输入点云模型，在各个尺度上的特征对各采样点进行从局部到全局的多粒度特征学习，从而在特征空间中扩大采样点集并经细节重塑恢复原始点云的细节信息。

输入全局结构恢复分支编码器中的特征信息，该特征信息能体现编码器中各层次的分层特征信息并包括输入点云的局部几何信息，其中不同层次提取信息便于提供不同维度的特征信息；将分层中间特征分别输入对应的层次特征学习模块，特征学习过程中对点云几何特征进行提取并经多层次特征融合，再将不同尺度上的特征进行组合并输出得到上采样点云，从而有效保留原始点云的局部细节结构信息。