[发明专利]一种基于三维视觉的智能机器人抓取方法

说明书

本发明公开了一种基于三维视觉的智能机器人抓取方法，以包含目标物体的观测点云为输入，使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度，获得适合作为抓取部位中心的点。以抓取区域的特征为输入，使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测。以抓取闭合区域和抓取区域特征融合后的特征为输入，使用抓取部位优化网络优化检测出的抓取部位。选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态。本发明使机器人在非结构化环境下准确地抓取不同种类的物体，以提高智能机器人作业和与外界交互的安全性与可靠性。

技术领域

本发明属于计算机视觉与智能机器人领域，具体涉及一种基于三维视觉的智能机器人抓取方法。

背景技术

智能机器人抓取在机器人作业和与外界交互中起着至关重要的作用，目前基于机器视觉的机器人抓取算法主要分为基于模型和基于数据驱动的算法。与传统的基于模型的机器人抓取方法相比，基于数据驱动的抓取方法基本能够在非结构化环境中抓取物体。但由于各种物体不同的形状结构与传感器噪声所引起的不确定性，导致在非结构化环境下可靠地抓取不同种类的物体仍是一项艰巨的任务。目前基于数据驱动的机器人抓取方法大多基于RGB、深度或RGB-D图像来生成矩形抓取区域，但因为简化了三维空间下机器人平行夹具的抓取部位，导致这些方法缺乏对物体表面几何信息和抓取质量指标的考虑，从而难以找到最佳的抓取部位。为此，基于三维视觉的智能机器人抓取方法能够在点云中学习一个更加鲁棒的机器人抓取部位的表征，相比矩形抓取的表征，三维空间下的抓取表征能够更准确的表示具有高抓取质量指标的夹具抓取姿态。而更精确的三维空间下的抓取检测有助于执行更可靠地物体抓取，为此，如何在三维空间中准确地检测出具有更高抓取质量的抓取部位，以获取能够在非结构化环境下可靠地抓取不同种类的物体的机器人抓取算法是目前突出的问题。

发明内容

本发明的目的在于克服上述不足，提供一种基于三维视觉的智能机器人抓取方法，能够在三维空间中准确地检测出具有更高抓取质量的抓取部位，以保证在非结构化环境下机器人能够可靠地抓取不同种类的物体，从而实现机器人作业与外界交互的可靠性与安全性。

为了达到上述目的，本发明采用以下技术手段：

一种基于三维视觉的智能机器人抓取方法，包括以下步骤：

以包含目标物体的观测点云为输入，使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度，获得适合作为抓取部位中心的点；

以抓取区域的特征为输入，使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测；

以抓取闭合区域和抓取区域特征融合后的特征为输入，使用抓取部位优化网络优化检测出的抓取部位，得到优化后的抓取部位；

选取具有最高抓取质量指标的抓取部位，通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态，完成机器人作业。

作为本发明的进一步改进，所述观测点云是通过Kinect传感器获取当前场景下的观测点云。

作为本发明的进一步改进，所述抓取置信度评估网络建立方法为：

输入的观测点云被送入训练好的点云特征提取网络中，训练的损失为每个点的抓取置信度的分类损失，通过最小化上述损失函数对网络参数进行优化，获得抓取置信度评估网络模型。

作为本发明的进一步改进，所述获得适合作为抓取部位中心的点具体过程如下：

通过训练好的点云特征提取网络实现所有输入点云到组特征的编码，再通过距离差值的方法实现组特征到逐点特征的解码从而实现输入点云的特征提取；之后通过一个训练好的二分类的分割网络对每个点提取出的特征进行分割，每个预测为正类的点均适合作为抓取部位中心。