[发明专利]面向机器人RGBD视觉感知的6D位姿估计方法及系统

说明书

本发明公开了一种面向机器人RGBD视觉感知的6D位姿估计方法，包括获取物体在不同环境和不同光照下的RGBD图片；对得到的RGBD图片进行物体图像分隔；训练分割的物体图像，生成位姿估计模型，对物体进行位姿估计。本发明还提供一种面向机器人RGBD视觉感知的6D位姿估计系统。本发明利用物体图像分割和特征提取进行位姿估计，有效的减少背景对结果的干扰并大大减少计算量，并能够在50ms内快速估计出相机坐标下所有待抓取物体的3D位置和3D旋转，以便做出多样的抓握手势和找出准确的抓取点。

技术领域

本发明属于计算机视觉处理领域，具体涉及一种面向机器人RGBD视觉感知的6D位姿估计方法及系统。

背景技术

物体6D位姿是指拍摄当前图像时刻，相机坐标系相对于原始物体所在的世界系，发生的平移和旋转变换。近年来，物体6D位姿估计在机器人装配、自动驾驶和增强现实等领域得到了广泛的应用。尤其是在机器人装配领域，由于对实时性和准确性的要求很高，RGBD相机下的物体位姿估计一直是一个具有挑战性的问题。针对物体位姿估计，一直存在如下几个挑战：1、如何满足操作的实时性；2、处理光照变化的影响；3、物体之间的互相遮挡等。在精细化的场景下，普通的3D目标定位技术已经不能满足精确性和实时性的需求。而对目标姿态的精确估计也能允许使用更加灵巧的手势进行柔性抓取与装配。

传统的6D目标估计方法主要分为基于对应的方法和基于模板的方法。基于对应的方法先找到现有三维模型的二维像素点与三维点之间的对应关系，然后采用透视n点(PnP)算法求解姿态，然而，这类方法严重依赖于手工制作的特征，这导致其在无纹理对象上的性能较差。基于模板的方法从标记有地面真实6D物体姿态的模板中找到最相似的模板，但不能适应光照变化和遮挡等复杂环境。

随着近几年来深度学习理论的逐步发展，基于深度学习的3D视觉技术已被成功应用于智能制造、智能驾驶等各个领域并取得了很高的效果。基于卷积神经网络(CNN)的图像特征提取可以使模型学习到最有利的特征，从而避免了手工特征的局限性。有些方法直接使用深度卷积网络来回归对象的3D位置和3D旋转。然而，现有方法大都极度依赖颜色信息而忽略了深度信息，导致了在颜色信息受限时(如极端光照、复杂场景等)的结果不够鲁棒。一方面，由于深度相机的局限性只能获得2.5D的点云信息，并且随着遮挡等问题越来越少，少量的深度信息对于位姿估计的贡献极为有限；另一方面，目前对于深度信息的特征提取技术现在也应用起来较为复杂，不够准确，目前仍需要一种有效的方法将深度信息用于物体的位姿估计。

发明内容

本发明的目的之一在于提供一种面向机器人RGBD视觉感知的6D位姿估计方法，该方法通过多分辨率的物体全局拓扑特征提取模块弥补深度信息匮乏的缺陷，并采用基于投票的机制得到最终位姿；同时本方法高效，便捷。

本发明的目的之二在于提供基于面向机器人RGBD视觉感知的6D位姿估计方法的系统。

本发明提供的这种面向机器人RGBD视觉感知的6D位姿估计方法，包括如下步骤：

S1.获取物体在不同环境和不同光照下的RGBD图片；

S2.对得到的RGBD图片进行物体图像分隔；

S3.训练分割的物体图像，生成位姿估计模型，对物体进行位姿估计。

所述的步骤S2，具体包括如下步骤：

A1.对步骤S1获取的RGBD图片，使用标注工具对不同物体进行标注，制作图像分割训练数据集；

A2.利用步骤A1制作的图像分割训练数据集，对图像分割网络进行训练，使得图像分割网络能够分割出每个物体在图像中的所有像素点；分割过程具体为，获取单帧的RGB图像，输入至分割网络中获得每个物体的前景掩码，并按此前景掩码裁剪出只包含该物体的RGB图像和深度图像。

所述的步骤S3，具体包括如下步骤：