[发明专利]一种基于级联神经网络的机器人混杂物体五维抓取方法

权利要求书

1.一种基于级联神经网络的机器人混杂物体五维抓取方法，其特征在于，包括以下步骤：

步骤(1)针对混杂不规则物体抓取环境，构建五维抓取姿态表示，用于在抓取中表示抓取的目标，所述的五维抓取姿态表示如下：

G＝(u,v,h,θ,Q) (1)

其中，u和v表示图像坐标系中的坐标， h表示深度，θ表示抓取角度，Q表示抓取置信度；

步骤(2)以包含目标物体的原始观测图作为输入，使用深度卷积神经网络的掩膜进行实例分割，提取适合抓取物的实例特征，获得适合抓取的目标区域；

步骤(3)以适合抓取的目标区域作为特征输入，使用Mask-RCNN掩膜方法的外接最小邻接矩形生成抓取框，提取抓取的目标位置域；

步骤(4)以目标位置域匹配的RGB图像作为输入，通过抓取深度卷积神经网络的抓取角度评估网络进行抓取角度的评估，获得抓取目标的抓取角度；

步骤(5)以目标位置域匹配的Depth局部图作为输入，通过抓取深度卷积神经网络的抓取点置信度评估网络评估输入图像每个像素点的置信度；

步骤(6)选取置信度最高点作为目标物的抓取点，通过相机内外参计算相机坐标系下的抓取点位置，通过机器人坐标转换关系，获取机器人坐标系下的抓取目标姿态，进而控制机器人执行任务，完成抓取。

2.根据权利要求1所述的机器人混杂物体五维抓取方法，其特征在于：

步骤(4)中，将抓取框内的图像输入到构建的角度评估网络中，首先针对输入进行Batch Normalize方法的归一化处理，再输入到角度评估网络中，网络包括包含4层卷积层和1层全连接层，网络的卷积层内核由16、32、64、128个组成，卷积层采用Relu函数作为激活函数，全连接层的神经元个数为4096 个；在训练中不断调整更新为模型权重参数L2范数作为网络的损失函数，以预测角度值与期待角度值间的关系作为损失输出，在网络中逐步优化使损失最低，以获取最佳预测角度；其损失函数如下所示：

其中，θ^*为预测的角度值，θ₀为期望的角度值，λ为正则化项，ω_i为模型权重参数，N为参数个数；

最终在多层感知机的学习观测后输出抓取框的预测抓取角度。

3.根据权利要求1或2所述的机器人混杂物体五维抓取方法，其特征在于：

从RGB-D相机获得RGB图像和Depth图像之后，其二者在每个像素点均为对应关系，通过此对全局Depth图像进行裁剪获得对应抓取框的Depth局部图，以Depth局部图作为抓取深度卷积神经网络的抓取点置信度评估网络评估的输入来计算抓取可行性。

4.根据权利要求3所述的机器人混杂物体五维抓取方法，其特征在于：

步骤(5)中，将Depth局部图输入到构建的抓取置信度评估网络中，首先需要针对输入进行Batch Normalize方法的归一化处理，之后输入到抓取置信度评估网络中，网络包括2层卷积层、3层残差层和2层反卷积层，网络的卷积层内核由16、32个，反卷积层内核由32、16个组成，卷积层采用Relu函数作为激活函数；采用Smooth L1函数作为网络的损失函数，网络通过遍历图像中的所有像素点，计算其抓取可行性，对抓取点的置信度最佳化优化；在反卷积层的作用下，将抓取框的图像扩展回原图像尺寸大小的图像，以获得在原尺寸图像下的抓取置信度分布。