[发明专利]一种融合形状结构恢复和细节补偿的点云数据修复方法

权利要求书

1.一种融合形状结构恢复和细节补偿的点云数据修复方法，其特征在于：基于包括全局结构恢复分支和局部细节补偿分支的点云修复网络对点云数据进行修复，全局结构恢复分支采用编码器-解码器结构；首先对输入的缺失点云数据进行粗修复得到补全结构信息的粗修复点云，但其缺乏形状局部几何细节；局部细节补偿分支则在学习输入缺失点云几何细节的基础上得到重塑点云；最后对两个分支的输出进行拼接融合并经迭代最远点采样生成保细节信息的、采样点分布均匀的形状精修复结果；

具体包括以下步骤：

1)将原始点云数据输入编码器，利用最大池化操作以聚合全局特征解决原始输入点云的旋转性和无序性问题，并通过多层感知器编码得到带全局信息的特征码字；解码器对输入的特征码字使用4个2D网格进行两次折叠操作以拟合点云形状粗修复结果；

2)局部细节补偿分支利用在编码器中得到的输入点云模型，在各个尺度上的特征对各采样点进行从局部到全局的多粒度特征学习，从而在特征空间中扩大采样点集并经细节重塑恢复原始点云的细节信息；

输入全局结构恢复分支编码器中的特征信息，该特征信息能体现编码器中各层次的分层特征信息并包括输入点云的局部几何信息，其中不同层次提取信息便于提供不同维度的特征信息；将分层中间特征分别输入对应的层次特征学习模块，特征学习过程中对点云几何特征进行提取并经多层次特征融合，再将不同尺度上的特征进行组合并输出得到上采样点云，从而有效保留原始点云的局部细节结构信息；

3)将局部细节补偿分支重塑得到的采样点与粗修复得到的采样点进行拼接融合得到完整点云形状，并经迭代最远点采样IFPS生成保细节信息的、采样点分布均匀的形状精修复结果。

2.如权利要求1所述的融合形状结构恢复和细节补偿的点云数据修复方法，其特征在于：采用Chamfer距离和Earth Mover距离损失函数训练双分支点云修复网络以衡量点云模型修复结果与真实点云之间的误差差异；

损失函数包括：点云形状粗修复结果与真实点云形状之间的差异、经细节特征学习得到的重塑点云与真实点云形状之间的误差、最终精修复点云与真实点云形状之间的误差。

3.如权利要求1所述的融合形状结构恢复和细节补偿的点云数据修复方法，其特征在于：在形状编码阶段，全局结构恢复分支中的编码器输入为具有M个离散采样点坐标信息的M×3矩阵，为解决原始点云旋转性问题采用两个联合T-Net变换，其中3×3输入变换能够调整点云形状姿势，64×64特征变换能够对经共享多层感知器训练得到的点云特征进行对齐，经过两次变换得到64维点云特征通过3层MLP感知器(64,128,1024)得到M×1024的点云形状全局特征信息；为了克服点云无序性问题，利用最大池化操作以聚合全局特征得到1×1024特征向量；最后通过2层MLP感知器对点云全局特征进行编码得到输入点云带有全局信息的1×512维特征码字；在特征解码阶段，解码器从编码器编码得到的1×512维特征码字中恢复点云形状，解码器通过使用4个2D网格对特征码字进行两次折叠操作得到粗修复点云。

4.如权利要求1所述的融合形状结构恢复和细节补偿的点云数据修复方法，其特征在于：所述的解码器首先将编码器生成的特征码字复制N次得到N×512矩阵，其次网络初始化4个维度N×2的正方形2D网格并通过折叠操作以拟合点云的3D形状，将特征码字N×512矩阵与4个2D网格拼接得到4个大小为N×514的矩阵经3层感知器处理，从而得到第1次折叠结果并输出4个N×3矩阵；然后，将复制N次的形状全局信息特征码字与第1次折叠结果的N×3矩阵进行拼接得到4个N×515矩阵，并将其经三层感知器处理进行第2次折叠操作得到4个N×3的矩阵；再对该4个矩阵进行拼接得到4N×3矩阵，至此在3D空间内完成了第二次折叠并得到粗修复点云。