[发明专利]一种基于目标检测特征的两阶段快速抓取检测方法

权利要求书

1.一种基于目标检测特征的两阶段快速抓取检测方法，其特征在于，所述两阶段快速抓取检测方法包括以下步骤：

步骤1：获取网络训练数据集，其包括训练集1和训练集2；

步骤2：构建目标检测卷积神经网络、第一级和第二级卷积神经网络结构，并训练三个卷积神经网络；

步骤3：利用三个训练好的卷积神经网络获取场景中的目标种类和数量、目标的候选抓取框以及每个抓取框的评分值；

步骤4：通过最佳抓取框选择算法获得最佳抓取框；

步骤5：通过抓取框确定夹持器的位置与姿态。

2.根据权利要求1所述一种基于目标检测特征的两阶段快速抓取检测方法，其特征在于，所述步骤1获取网络训练数据集具体步骤如下：

步骤1.1：利用相机获取各种包含可抓取物体的RGB图像，记任意一张RGB图像为i；

步骤1.2：在RGB图像i上用矩形框标记出物体的位置，以及物体的语义标签；将所有图片打包作为目标检测卷积神经网络的数据集；

步骤1.3：利用矩形框对RGB图像i进行截取，获取若干个的随机矩形图片，记任意一张矩形图片为j，若j内的抓取物能实现物体抓取则记该矩形框为1，否则记为0；

步骤1.4：取目标检测卷积神经网络的第二个卷积层输出作为样本，记任意一个样本为k，根据矩形图片j在RGB图像i上的位置，根据比例得到矩形图片j在样本k上的位置，取该位置上的矩形特征为新训练数据m，新训练数据m的可抓取标签与矩形图片j相同，将所有新训练特征m组合作为两阶段快速抓取检测网络的训练样本。

3.根据权利要求1所述一种基于目标检测特征的两阶段快速抓取检测方法，其特征在于，所述步骤2具体为，

步骤2.1：选用Yolov3-tiny网络作为目标检测卷积神经网络，并给予迁移训练的方法，利用在ImageNet数据集上预训练的权重进行微调训练，得到目标检测卷积神经网络模型；

步骤2.2：两阶段快速抓取检测网络分为两级；第一级卷积神经网络以矩形特征作为输入，包含一个金字塔池化层和一个全连接层，全连接层的输出为0或1，利用训练数据集2训练得到第一级卷积神经网络模型；

步骤2.3：第二级卷积神经网络以矩形特征作为输入，包含两个卷积层、一个最大池化层、一个金字塔池化层和两个全连接层，全连接层1的输出为24个神经元，全连接层2输出为0或1，利用训练数据集2离线训练得到第二级卷积神经网络模型。

4.根据权利要求1所述一种基于目标检测特征的两阶段快速抓取检测方法，其特征在于，所述步骤3具体为，

步骤3.1：由相机得到场景内的RGB图像，作为目标检测卷积神经网络的输入，得到场景内的物体位置预测框和物体的语义标签；

步骤3.2：在物体位置预测框内利用滑动窗口方法得到若干候选抓取框，记任意一个抓取框为r，取目标检测卷积神经网络的第二个卷积神经网络输出特征作为RGB图像的映射，将抓取框r映射到特征图上，得到特征图上的抓取框u；

步骤3.3：将特征图上的抓取框u输入第一级卷积神经网络模型，得到抓取框u的第一级抓取评分score1，如果第一级抓取评分小于0.1，则将该抓取框k删除；

步骤3.4：将第一级抓取评分大于0.1的抓取框送入第二级卷积神经网络，得到第二级抓取评分score2。

5.根据权利要求1所述一种基于目标检测特征的两阶段快速抓取检测方法，其特征在于，所述步骤4具体为，

通过第一级卷积神经网络快速去除不可靠的抓取框，然后通过第二级卷积神经网络提取更多特征，对剩余抓取框进行下一步判断；最终抓取评分采用两级评分加权平均的方式为，

式中α和β为权重系数，选取最终抓取评分最高的抓取框作为最佳抓取框，并将特征图上的最佳抓取框按比例映射回RGB图上，得到RGB图上的最佳抓取框。