[发明专利]一种基于深度学习的工件6D位姿估计方法

说明书

本发明公开了一种基于深度学习的工件6D位姿估计方法，涉及机器人环境感知技术领域，具体为：采集不同背景及光照条件下的不同工件图像，构建语义分割模型分割出目标物体，通过空间转换网络将三维点云坐标转换到像素坐标表示，并利用三维点云数据和RGB信息进行融合，构建密集融合网络估计物体的3D位置信息和3D方向信息，采用ICP算法迭代匹配微调位姿，从而得到准确的物体6D位姿信息。本发明与传统的方案相比能够实现遮挡、杂乱等复杂环境下目标物体端到端的6D位姿快速实时准确估计，有效解决了在现实复杂环境下传统位姿估计方法适应性差、准确率低、实时性受限的问题。

技术领域

本发明涉及机器人环境感知技术领域，尤其是涉及一种基于深度学习的工件6D位姿估计方法。

背景技术

物体6D位姿(即3D位置和3D方向)在工业机器人、虚拟现实和自动导航系统等应用中起到关键的作用。对于机器人领域，准确估计物体的6D位姿是机器人精准抓取的前提和基础，可为机器人的抓取操作和运动规划等任务提供物体的位置信息和姿态信息。

目前，在机器人进行抓取作业时，针对物体6D位姿估计方法主要有基于对应点的方法、基于模板的方法和基于投票的方法。基于对应点的方法主要是寻找输入数据和已知物体的3D点云之间的特征点对应，通常从RGB-D数据中提取SIFT、SURF等特征进行特征匹配，这种方法速度快，但是精度难以保证。由于在工件间存在遮挡、传感器噪声和灯光变化等复杂环境下，依赖于手动提取特征和固定的特征匹配过程严重限制了姿态估计的准确率，难以满足在复杂环境下工件姿态的快速准确估计。基于模板的方法主要是从标记好的6D位姿模板中选择相似的模板，并将其6D位姿作为当前的位姿，但是这种方法主要针对无纹理或者弱纹理的图像，而且需要提供物体精确的CAD模型和大小，由于现实环境下工件形状和纹理各异，需要处理给定类别中不同的和从未见过的物体实例，难以满足在现实环境下物体的6D位姿估计。基于投票的方法中每个像素点或3D点通过投票得到6D位姿，该方法对于遮挡环境下的复杂情况处理较好，但是实时性较为受限。因此，面向工业现实场景下，亟需提出一种工件6D位姿估计方法，实现遮挡、杂乱和堆叠等复杂环境下目标物体端到端的6D位姿快速准确实时估计。

发明内容

有鉴于此，有必要针对上述的问题，提供一种基于深度学习的工件6D位姿估计方法，面向工业现实场景复杂环境下，实现遮挡、杂乱等复杂环境下目标物体端到端的6D位姿快速准确实时估计。

为实现上述目的，本发明是根据以下技术方案实现的：

一种基于深度学习的工件6D位姿估计方法，包括以下步骤：

步骤S1：图像获取及预处理；

步骤S2：构建语义分割模型，准确分割出目标物体，提供目标更丰富的信息和更好的处理遮挡；

步骤S3：通过空间转换网络，将三维点云坐标转换到像素坐标表示，融合RGB图像，利用三维点云数据与RGB信息的融合，以提取目标更丰富的图像信息和深度信息，有利于模型在杂乱和堆叠等复杂情况下的位姿估计；

步骤S4：基于密集卷积网络建立异构架构，构建密集融合网络，网络包括3个密集卷积块，在每个密集卷积块中，之前所有层的输出作为每层的输入；为表现目标位姿估计与现实位姿的差距程度，引入对称物体与非对称物体的损失函数衡量模型的估计效果；这种密集连接方式增强了特征的传播、大大减少了参数量，有效的解决了随着网络加深而产生的梯度消失问题；

步骤S5：构建微调网络，采用ICP算法进行迭代匹配。

进一步地，所述步骤S1具体包括以下步骤：

步骤S101：利用深度相机分别在实验室和工厂实际场景下采集不同背景及光照条件下的不同工件图像；包括单一背景、复杂背景、曝光、阴暗、柔光、遮挡、重叠、多视角等复杂环境以及小型件、制造件、大型浇铸件等不同类型的工件；