[发明专利]基于图像的点云补全方法及系统

权利要求书

1.一种基于图像的点云补全方法，其特征在于，包括以下步骤：

获取目标物体的单张真彩RGB图像，并采集所述目标物体在不同场景下的残缺点云，以及利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云；

使用相机外参矩阵将所述稀疏点云与所述残缺点云进行对齐以使统一至同一视角，并将所述稀疏点云与所述残缺点云进行合并，并使用最远点采样方式进行采样，获取粗点云；

使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域；

针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域；

将所述强化后的精细点云区域与粗糙点云区域进行合并，获取高精度点云；

所述针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域，包括:

获取点云三维特征、视图二维特征、粗点云全局特征融合处理，获取融合特征；

构建动态位移预测器对所述精细点云区域，依据输入的融合特征预测小尺度的位移向量，与所述精细点云区域自身的空间坐标相加，获取强化后的精细点云区域；

所述动态位移预测器对于粗糙点云区域，依据输入的融合特征预测大尺度的位移向量，与所述粗糙点云区域自身的空间坐标相加，获取强化后的粗糙点云区域。

2.如权利要求1所述的方法，其特征在于，采集所述目标物体在不同场景下的残缺点云，包括：

使用深度相机或激光雷达从所述目标物体在自我遮挡场景下进行拍摄，获取残缺点云；和/或，

使用深度相机或激光雷达从所述目标物体在自我遮挡和相互遮挡场景下进行拍摄，获取残缺点云；其中，每一个点为三元组(x,y,z)，点云整体表示为其中，P表示所述目标物体的三维结构，N表示点云的点数。

3.如权利要求1所述的方法，其特征在于，所述利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云，包括：

使用一系列卷积构建图像编码器，提取所述RGB图像的图像特征，将所述图像特征编码为隐空间向量；

使用一系列反卷积作为点云解码器，将所述隐空间向量恢复为粗糙重建点云，获取所述具有完整轮廓的稀疏点云。

4.如权利要求1所述的方法，其特征在于，所述倒角距离定义为：

其中，P与Q为两个空间内的两个点集，倒角距离描述了两个点云之间最近点间的距离；

所述使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域，包括：

将所述粗点云划分为两部分，使用公式(1)计算所述点云的两部分之间的最近邻点距离的平均值作为所述阈值，使用公式(1)计算所述粗点云与所述残缺点云之间的最近邻点距离，其中，最近邻点距离小于所述阈值的为精细点云，获取所述精细点云区域与所述粗糙点云区域。