[发明专利]一种基于目标裁剪区域的指定物体抓取方法

权利要求书

1.一种基于目标裁剪区域的指定物体抓取方法，其特征在于，包括以下步骤：

S1、采集实际抓取场景的RGB图像和深度图像；

S2、对采集的深度图像和RGB图像进行预处理操作；

S3、将处理后的RGB图像数据流输入目标检测网络，输出当前场景中抓取物体的位置和区域；

S4、将处理后的深度图像输入训练好的全卷积神经网络中，得到整个场景的抓取位姿；

S5、根据目标检测的结果和整个场景的抓取位姿生成指定目标物体的抓取位姿；

S6、利用机器人视觉抓取系统的标定结果，将抓取位姿映射到机器人操作空间中的三维抓取位姿。

2.根据权利要求1所述的一种基于目标裁剪区域的指定物体抓取方法，其特征在于，步骤S2中深度图像和彩色图像对齐的操作包括以下步骤：

S201、将深度图的像素点还原到深度坐标系下：

其中K_d为深度摄像头的内参由标定获得，表示深度图的像素点在深度坐标系下的坐标，为深度图上的像素点的值，Z为深度图的像素点和实际深度的变化矩阵；

S202、将深度坐标系下转换到世界坐标系下：

P_w是世界坐标系下的坐标，是深度坐标系到世界坐标系的转换矩阵由摄像头的标定参数中获得；

S203、将世界坐标系下P_w转换到彩色摄像头坐标系下：

表示彩色摄像头坐标系下的坐标，T_w2c是世界坐标系到彩色相机坐标系之间的转换矩阵；

S204、将彩色摄像头坐标系下的深度点转换到映射到彩色平面上：

其中K_c为深度摄像头的内参。

3.根据权利要求1所述的一种基于目标裁剪区域的指定物体抓取方法，其特征在于：目标检测网络为YOLOv4网络，采用COCO数据集预训练，再使用目标数据集迁移训练。

4.根据权利要求3所述的一种基于目标裁剪区域的指定物体抓取方法，其特征在于：在步骤S3中，将处理后的RGB图像数据流输入到训练后的YOLOv4网络，对场景实时采集，输出目标物体的所在的矩形区域。

5.根据权利要求1所述的一种基于目标裁剪区域的指定物体抓取方法，其特征在于：所述全卷积神经网络包括两个阶段，第一阶段和第二阶段均包括编码器模块和解码器模块，其中第一阶段和第二阶段均产生一个损失，损失定义为预测的抓取角度、抓取宽度和抓取质量和实际的真实间的均方误差；所述编码器模块包括卷积层，所述解码器模块包括反卷积层。

6.根据权利要求5所述的一种基于目标裁剪区域的指定物体抓取方法，其特征在于，全卷积神经网络的训练包括以下步骤：

S401、建立全卷积神经网络，全卷积神经网络的输入和输出是同尺寸的图像，输入为单通道，输出为n通道，分别意味着每个像素点的抓取质量，抓取角度和抓取宽度信息；

S402、使用开源Cornell数据集对全卷积神经网络进行训练，训练前先对数据集进行数据集增强操作，包括随机截取、随机缩放、随机翻转，将增强后的数据集为训练集和测试集；在随机翻转的操作中，翻转范围为(0，π/2)，在随机缩放的操作中，缩放范围为(0.1,10)，训练网络时采用均方误差损失函数作为训练性能的指标；

S403、对全卷积神经网络进行测试；对于预测的抓取框是否正确采用IOU评价指标：

其中，A为预测矩形，B为真实矩形，IOU预测矩形和真实矩形之间面积的交并比为评价指标。

7.根据权利要求1所述的一种基于目标裁剪区域的指定物体抓取方法，其特征在于：在步骤S4中，将深度图像数据流输入到训练好的全卷积神经网络中，输出得到三幅图，分别对应着每个像素点(u,v)的抓取质量q、夹爪旋转角度夹爪张开宽度整合得到的每个像素的抓取位姿