[发明专利]一种基于深度学习的6D姿态估计方法和系统

说明书

本发明提供了一种基于深度学习的6D姿态估计方法和系统，该方法首先获取目标物体的无标记码图像和有标记码图像；之后对目标物体的有标记码图像进行处理，之后利用预设的点云补全神经网络模型获得目标物体表面完整点云数据和3D模型；之后将目标物体的3D模型、表面完整点云数据和无标记码图像输入预设的6D姿态估计神经网络模型中训练并迭代优化；最后利用优化后的6D姿态估计神经网络模型对待预测目标物体进行6D姿态估计；该方法基于深度学习对目标物体进行6D姿态估计，能够有效提高目标物体6D姿态估计的预测精确度和预测效率，而且显著降低了现有技术中目标物体完整点云数据的获取难度，降低了生产成本。

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于深度学习的6D姿态估计方法和系统。

背景技术

随着我国工业化进程的加速发展，工业制造进入智能化时代，机械臂因其效率高、稳定性好、恶劣环境适应性强等优点，在工业、3C检测、农业、航天等许多领域都是重要的生产力。在工业生产中，为了更好的提高机械臂的自主性和环境适应性，目前诸多机械臂都进行了视觉化。视觉化的抓取系统能够对机械臂后续的运动进行规划与控制，目标物体的6D姿态估计，是抓取任务顺利进行的前提。6D姿态估计是指相机相对于物体的姿态关系，由相机与机械臂的相对姿态关系，可以求得机械臂基座坐标系或工具坐标系与物体坐标系的姿态关系。

工业生产中普遍使用点云和RGB图像信息对目标物体进行6D姿态估计。点云拥有物体表面点的位置和姿态信息，能够提供真实的物理数据；而RGB图像拥有丰富的颜色和纹理，能够为物体的识别提供数据。

目前的现有技术公开了一种基于深度学习的6D姿态估计方法，包括图像特征提取模块、点云特征提取模块、图像和点云特征融合模块和6D姿态估计模块，首先将物体从场景中分割出区域以及对应的深度图，对分割出来的图像区域进行图像特征提取；再根据分割出来的区域以及对应的深度图，确定物体被观测到的那个面的3D坐标信息，得到物体的点云数据，并送入点云特征提取模块提取点云几何特征；再将提取到的图像特征和点云特征送到特征融合网络中，提取融合特征；最后根据提取到的融合特征估计物体的6D姿态信息。现有技术中的方法虽然能够在一定程度上解决密集2D 3D特征提取效率不高以及物体被遮挡的问题，但现有技术由于传感器采集或者深度学习估计的点云在生成数据时，目标物体需要放置在平台之上，物体与平台接触的部分的点云信息无法被采集，在采集物体局部的点云数据之后需要人为微调数据，无形之中增加了数据采集的难度和耗时；除此之外，使用RGB数据对目标物体进行定位和检测的过程中会受限于光照、模糊重影等干扰，在复杂的场景下鲁棒性和泛化性会出现大幅度的下降。另外，带有深度信息的RGB-D相机的价格普遍偏高，导致生产成本提高。

因此，由于数据获取不易、设备成本较高等诸多不便，目前的现有技术在进行目标物体的6D姿态估计时存在预测精确度和预测效率低下的问题。

发明内容

本发明为克服上述现有技术对目标物体的6D姿态进行估计时，预测精确度和预测效率低下的缺陷，提供一种基于深度学习的6D姿态估计方法和系统，能够有效提高目标物体6D姿态估计的预测精确度和预测效率。

为解决上述技术问题，本发明的技术方案如下：

一种基于深度学习的6D姿态估计方法，包括以下步骤：

S1：分别获取目标物体的无标记码图像和有标记码图像；

S2：对目标物体的有标记码图像背景和噪声进行分割，获取目标物体的表面稀疏点云数据；

S3：对目标物体的表面稀疏点云数据进行处理，获取目标物体的表面稠密点云数据和目标物体的3D模型；

S4：将目标物体的无标记码图像和表面稠密点云数据输入到预设的点云补全神经网络模型中，获得目标物体的表面完整点云数据；