[发明专利]一种三维点云重建结果补全方法及相关组件

说明书

本发明公开了一种三维点云重建结果补全方法，该方法采用迭代预测和修正的方式预测缺失点云，以不完全的三维点云作为输入，构建基于Transformer的金字塔编码器，学习点之间的相关性，提取多尺度的全局几何结构和局部细节特征；构建基于Transformer的金字塔解码器，充分利用已有点云的全局几何结构和局部细节信息，在多个尺度上迭代预测缺失点云，补全三维点云重建结果，该方法可以有效提升三维点云重建结果补全的精准度，提升三维点云重建的输出效果。本发明还公开了一种三维点云重建结果补全装置、设备及可读存储介质，具有相应的技术效果。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种三维点云重建结果补全方法、装置、设备及可读存储介质。

背景技术

三维点云数据(point cloud)指通过3D扫描仪所取得的资料形式。扫描资料以点的形式存储，每一个点包含有三维坐标，有些可能含有色彩资讯(R,G,B)或物体反射面强度等信息。点云数据是常见的三维模型表示方法，可有效表示复杂三维形状。其主要可以利用激光扫描设备或通过RGBD(RGB Depth Map，RGB模式深度图)深度相机等扫描设备来获取。但是，由于物体间相互遮挡、传感器距离限制等原因，通过扫描设备获取的三维点云重建结果存在噪声，甚至出现孔洞或形状结构缺失。针对这一问题，点云补全从不完整点云重建结果出发，通过补全得到完整的高质量点云形状来弥补扫描设备获取的三维点云重建结果差的问题，从而广泛应用于自动驾驶、机器人视觉、虚拟现实、增强现实等领域。

近来，通常基于点进行深度学习的点云补全，具体地，该方法中以不完整点云作为输入，在多个层次上提取已有点云的多尺度特征，用以迭代预测缺失部分的点云。该方法可以在一定程度上补全细节信息，但是存在已有点云细节丢失和修复不完全的问题。

综上所述，如何解决三维点云形状补全中已有点云细节丢失和修复不完全的问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种三维点云重建结果补全方法、装置、设备及可读存储介质，以解决三维点云形状补全中已有点云细节丢失和修复不完全的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种三维点云重建结果补全方法，包括：

接收待补全的三维点云，作为不完整点云；

调用基于Transformer的金字塔编码器对所述不完整点云进行多尺度全局特征和局部特征提取，得到全局特征以及局部特征；

调用基于Transformer的金字塔解码器根据所述全局特征以及所述局部特征进行多尺度迭代预测，得到缺失点云；

将所述缺失点云与所述不完整点云组合，作为预测完整点云。

可选地，所述调用基于Transformer的金字塔解码器根据所述全局特征以及所述局部特征进行多尺度迭代预测，包括：

调用第一解码块根据所述全局特征、所述局部特征以及嵌入的条件输入进行点云恢复，得到缺失点云的初始特征；

调用第二解码块对输入点云上采样后进行点云特征优化，作为所述缺失点云。

可选地，所述调用第二解码块对输入点云上采样后进行点云特征优化，包括：

调用所述第二解码块中的上采样层对所述生成点云以及对应连接的编码块输出的已有点云进行点云合并，得到合并点云；

对所述合并点云按预设分辨率进行插值，得到插值点云；

调用所述第二解码块中的Transformer层对所述插值点云进行点云特征优化，作为所述缺失点云；