[发明专利]一种基于目标检测特征的两阶段快速抓取检测方法

说明书

本发明公开了一种基于目标检测特征的两阶段快速抓取检测方法。步骤1：获取网络训练数据集；步骤2：构建目标检测卷积神经网络、第一级和第二级卷积神经网络结构，并训练三个卷积神经网络；步骤3：利用三个训练好的卷积神经网络获取场景中的目标种类和数量、目标的候选抓取框以及每个抓取框的评分值；步骤4：通过最佳抓取框选择算法获得最佳抓取框；步骤5：通过抓取框确定夹持器的位置与姿态。本发明将目标检测方法和机器人抓取检测方法相结合，并兼顾抓取检测的准确性和实时性。

技术领域

本发明涉及机器人领域，具体涉及一种基于目标检测特征的两阶段快速抓取检测方法。

背景技术

对目标场景内的物体进行抓取是机器人的基本功能之一，也是机器人领域的一个重要研究方向。如下图2所示，一个机器人抓取系统由机械臂、末端夹持器、相机组成。通过相机获取目标场景内的图像，然后通过计算机检测图像中的物体和抓取框。将抓取框转化为末端夹持器的位置和姿态，最后控制夹持器达到相应位置和姿态执行抓取。

为了提高目标物体的抓取成功率，一般将物体的抓取位姿作为研究对象。本发明采用抓取框作为三维抓取位姿在二维图像上的表示即根据相机获取的图像检测合适的抓取框，从而提高抓取的成功率。在深度学习提出之前一般使用传统视觉方法设计物体特征，这样对已知三维模型的物体具有较高的抓取成功率，但是对未知物体抓取检测准确性较差。自深度学习提出之后，利用卷积神经网络对场景进行检测从而获取抓取框的方法得到大范围应用。卷积神经网络方法对未知环境和未知物体的泛化能力较好，具有较高的抓取成功率。但是卷积神经网络的方法一般检测时间较长，无法兼顾抓取成功率和检测速度。同时只能得到目标物体的抓取框，无法得到场景中的物体数量和种类。为此需要对获取抓取点的方法做进一步改善，使得系统具有较高的抓取成功率和检测速度。

发明内容

本发明提供一种基于目标检测特征的两阶段快速抓取检测方法，将目标检测方法和机器人抓取检测方法相结合，并兼顾抓取检测的准确性和实时性。

本发明通过以下技术方案实现：

一种基于目标检测特征的两阶段快速抓取检测方法，所述两阶段快速抓取检测方法包括以下步骤：

步骤1：获取网络训练数据集，其包括训练集1和训练集2；

步骤2：构建目标检测卷积神经网络、第一级和第二级卷积神经网络结构，并训练三个卷积神经网络；

步骤3：利用三个训练好的卷积神经网络获取场景中的目标种类和数量、目标的候选抓取框以及每个抓取框的评分值；

步骤4：通过最佳抓取框选择算法获得最佳抓取框；

步骤5：通过抓取框确定夹持器的位置与姿态。

进一步的，所述步骤1获取网络训练数据集具体步骤如下：

步骤1.1：利用相机获取各种包含可抓取物体的RGB图像，记任意一张RGB图像为i；

步骤1.2：在RGB图像i上用矩形框标记出物体的位置，以及物体的语义标签；将所有图片打包作为目标检测卷积神经网络的数据集；

步骤1.3：利用矩形框对RGB图像i进行截取，获取若干个的随机矩形图片，记任意一张矩形图片为j，若j内的抓取物能实现物体抓取则记该矩形框为1，否则记为0；

步骤1.4：取目标检测卷积神经网络的第二个卷积层输出作为样本，记任意一个样本为k，根据矩形图片j在RGB图像i上的位置，根据比例得到矩形图片j在样本k上的位置，取该位置上的矩形特征为新训练数据m，新训练数据m的可抓取标签与矩形图片j相同，将所有新训练特征m组合作为两阶段快速抓取检测网络的训练样本。

进一步的，所述步骤2具体为，