[发明专利]一种基于抓取生成卷积神经网络的机械臂抓取方法

说明书

本发明公开了一种基于抓取生成卷积神经网络的机械臂抓取方法，所述方法包括建立神经网络模型：基于标准数据集，根据抓取配置参数组构建神经网络模型的网络层，获取场景深度信息，预测得到抓取配置，根据神经网络的预测图谱得到预测的机械臂抓手抓取配置参数，对得到的预测机械臂抓手抓取配置参数信息进行坐标变换处理，即可获得机械臂可执行的抓取配置，机械臂获取到可执行的抓取配置后，机械臂控制器规划并执行抓取运动。

技术领域

本发明涉及机械臂无序抓取的领域，其中涉及一种基于抓取生成卷积神经网络的机械臂抓取方法。

背景技术

现有的机械臂抓取控制研究工作中，大部分采用深度学习技术来实现抓取检测，检测的精度和实时性是评价系统性能的主要因素。此前大部分工作都将研究重心放在提升对静态物体的抓取精度上，相对忽视对于检测时延的要求。考虑到抓取移动物体的实用价值，如何设计出一种兼顾精度与实时性的机械臂抓取方法，成为了机械臂抓取研究领域的热点问题。

因此，为了在一定程度上解决上述问题，需要结合神经网络的二实现的机械臂抓取方法，能在保证抓取检测精度的同时，降低实时抓取检测时延。

发明内容

鉴于现有技术的不足，本发明旨在于提供一种基于抓取生成卷积神经网络的机械臂抓取方法，采用的神经网络参数量少、训练耗时低、实际应用中预测输出时延低，同时引入先验知识补充方法，提高训练所得到的神经网络模型的预测精度。

为了实现上述目的，本发明采用的技术方案如下：

一种基于抓取生成卷积神经网络的机械臂抓取方法，所述方法包括

建立神经网络模型：基于标准数据集，根据抓取配置参数组构建神经网络模型的网络层，并对数据集中图片样本及其真实标注框进行预处理，以及使用先验知识改进数据集标签处理，训练得到神经网络模型；

获取场景深度信息：根据位于抓手上的深度传感器获取深度图片，得到场景深度信息；

预测得到抓取配置：将采集后的场景深度信息输入至训练得到的神经网络模型，根据神经网络的预测图谱得到预测的机械臂抓手抓取配置参数。

网络输出坐标变换处理：对得到的预测机械臂抓手抓取配置参数信息进行坐标变换处理，即可获得机械臂可执行的抓取配置。

机械臂执行抓取：机械臂获取到可执行的抓取配置后，机械臂控制器规划并执行抓取运动。

需要说明的是，还包括计算标准抓取框与预测抓取框之间的交并比和角度误差。即两边框的交集与并集面积之比，用于衡量抓取预测的有效性；并且加入预测抓取框与标准抓取框在倾斜角度上的误差标准。

需要说明的是，预测机械臂抓手抓取配置参数组的公式表示如下：

(x,y,θ,w,h)；

其中，(x,y)表示深度图片中抓取中心点的坐标，θ表示抓手旋转角度，w表示抓手张开宽度，h表示抓手本身宽度。

需要说明的是，所述坐标为根据置信度预测图谱得到置信度最大点，所述抓手旋转角度是据抓取旋转角度预测图谱得到，所述抓手张开宽度是根据抓手张开宽度预测图谱中该坐标点对应的值得到。

需要说明的是，所述抓手旋转角度包括：

根据网络输出的抓手旋转角度二倍角正弦图谱及二倍角余弦图谱中对应像素点的值，融合得到抓手旋转角度：