[发明专利]一种基于抓取生成卷积神经网络的机械臂抓取方法

权利要求书

1.一种基于抓取生成卷积神经网络的机械臂抓取方法，其特征在于，所述方法包括

建立神经网络模型：基于标准数据集，根据抓取配置参数组构建神经网络模型的网络层，并对数据集中图片样本及其真实标注框进行预处理，以及使用先验知识改进数据集标签处理，训练得到神经网络模型；

获取场景深度信息：根据位于抓手上的深度传感器获取深度图片，得到场景深度信息；

预测得到抓取配置：将采集后的场景深度信息输入至训练得到的神经网络模型，根据神经网络的预测图谱得到预测的机械臂抓手抓取配置参数。

网络输出坐标变换处理：对得到的预测机械臂抓手抓取配置参数信息进行坐标变换处理，即可获得机械臂可执行的抓取配置。

机械臂执行抓取：机械臂获取到可执行的抓取配置后，机械臂控制器规划并执行抓取运动。

2.根据权利要求1所述的基于抓取生成卷积神经网络的机械臂抓取方法，其特征在于，还包括计算标准抓取框与预测抓取框之间的交并比和角度误差。即两边框的交集与并集面积之比，用于衡量抓取预测的有效性；并且加入预测抓取框与标准抓取框在倾斜角度上的误差标准。

3.根据权利要求1所述的基于抓取生成卷积神经网络的机械臂抓取方法，其特征在于，预测机械臂抓手抓取配置参数组的公式表示如下：

(x,y,θ,w,h)；

其中，(x,y)表示深度图片中抓取中心点的坐标，θ表示抓手旋转角度，w表示抓手张开宽度，h表示抓手本身宽度。

4.根据权利要求3所述的基于抓取生成卷积神经网络的机械臂抓取方法，其特征在于，所述坐标为根据置信度预测图谱得到置信度最大点，所述抓手旋转角度是据抓取旋转角度预测图谱得到，所述抓手张开宽度是根据抓手张开宽度预测图谱中该坐标点对应的值得到。

5.根据权利要求3或4所述的基于抓取生成卷积神经网络的机械臂抓取方法，其特征在于，所述抓手旋转角度包括：

根据网络输出的抓手旋转角度二倍角正弦图谱及二倍角余弦图谱中对应像素点的值，融合得到抓手旋转角度：

其中，θ_p表示神经网络最终预测得到的抓手旋转角度，sin(2θ_p)表示神经网络输出的抓手旋转角度二倍角正弦图谱中对应坐标像素点的值，cos(2θ_p)表示神经网络输出的抓手旋转角度二倍角余弦图谱中对应坐标像素点的值；所述对应坐标为根据置信度预测图谱得到置信度最大点的坐标。

6.根据权利要求1所述的基于抓取生成卷积神经网络的机械臂抓取方法，其特征在于，所述预测机械臂抓手抓取配置参数信息进行坐标变换处理的公式如下：

其中，为神经网络预测得到的最优抓取配置参数组，为最优可执行的抓取配置参数组，T_ec为深度传感器坐标到机械臂末端执行器的变换矩阵，T_re则为末端执行器到世界坐标的变换矩阵。

7.根据权利要求7所述的基于抓取生成卷积神经网络的机械臂抓取方法，其特征在于，所述先验知识改进数据集标签处理中的公式如下：

Q＝1-3·d/W；

其中，d为像素点到中轴线的距离，W为标准抓取框中抓手张开角度边的长度；所述中轴线为标准抓取框中抓手张开角度边的中轴线。

8.一种具有如权利要求1所述的基于抓取生成卷积神经网络的机械臂抓取方法的机械臂抓取控制系统，其特征在于，所述系统包括：

深度传感器节点，用于采集实时场景深度信息；

关节状态节点，用于发布机械臂各个关节的状态信息；

神经网络预测节点，基于标准数据集训练神经网络模型，并用于接受上述消息，对深度图片进行抓取预测，得到最优抓取配置方案；

关节控制器节点，用于执行抓取规划运动，随后更新当前关节状态。