[发明专利]一种基于视觉的机械臂自主抓取方法

权利要求书

1.一种基于视觉的机械臂自主抓取方法，其特征在于，包括以下步骤：

S1.在仿真环境中，搭建一个类似于现实场景的环境，并采集全局图像；

S2.对数据进行处理，预处理后的数据包括：包含整个工作空间信息的全局图像、物体掩膜以及与全局图像相同尺度的标签图；处理过程包括：首先根据图像中物体所在像素的位置集合生成物体掩膜，再根据物体掩膜、抓取像素位置和抓取标签生成标签掩膜，以及用抓取位置和抓取标签生成标签图；然后根据抓取问题定义，对抓取角度进行离散化；

所述的抓取问题定义包括：定义垂直平面抓取为g＝(p,ω,η)，其中p＝(x,y,z)表示笛卡尔坐标下抓取点的位置，ω∈[0,2π)表示终端的旋转角度，是一个3维的一位有效编码，用来表示抓取功能；抓取功能共分为可抓取、不可抓取和背景三种；当投影到图像空间中，抓取在图像I可以表示为其中表示图像中的抓取位置，表示离散抓取角度；图像中的每一个像素都可以定义抓取功能，所以整个抓取功能图可以表示为：其中为给定第i个角度下图像的抓取功能图；该图中3个通道分别表示可抓取、不可抓取和背景三种类别；从每个抓取功能图C_i中抽出第一个通道并结合在一起组成

S3.训练深度神经网络：

(1)将输入RGB图进行归一化，然后合成一个批；

(2)将该批数据传入全卷积神经网络，得到输出值；

(3)根据结合标签掩膜的交叉熵误差，计算预测值与标签的误差，通过如下损失函数计算：

其中Y为标签图，M为标签掩膜，H和W分别为标签图的长和宽，i、j和k分别为3通道图像中位置的索引下标，l为通道数的索引，表示最后一层卷积层的输出特征图；表示实数域，对应的上标表示张量的维度大小；

S4.将训练好的模型应用到真实抓取环境中。

2.根据权利要求1所述的一种基于视觉的机械臂自主抓取方法，其特征在于，所述的S1步骤具体包括：

S11.在仿真环境的工作空间放置一个背景纹理、带夹持器的机械臂、摄像头和待抓取物体；

S12.将物体放置在工作空间中，利用摄像头选择一个存在物体的位置，记录图像信息、抓取点对应的像素位置、图像中物体的掩膜和抓取角度，然后随机选择一个角度让机械臂进行试错抓取；

S13.判断是否抓取成功，如果抓取失败，则直接保存图像I、图像中物体所在像素的位置集合C、抓取点对应的像素位置p、抓取角度ψ以及抓取失败的标签l；若抓取成功，则重新记录全局图像I′以及对应的图像中物体所在像素的位置集合C′，然后将图像I′、图像中物体所在像素的位置集合C′、抓取点对应的像素位置p、抓取角度ψ以及抓取成功的标签l保存下来。

3.根据权利要求2所述的一种基于视觉的机械臂自主抓取方法，其特征在于，最鲁棒的抓取点通过求解下式得到：

i^*,h^*,w^*＝argmax_i,h,wG(i,h,w)

其中G(i,h,w)表示旋转角度和图像位置下可抓取功能的置信度；(h^*,w^*)为图像空间机械臂终端要到达的位置，i^*表示终端转动后再执行抓取。

4.根据权利要求3所述的一种基于视觉的机械臂自主抓取方法，其特征在于，在训练过程中，定义一个参数化方程f_θ，实现图像到抓取功能图之间像素级别的映射，该映射可以表示为：

式中，为图像I旋转了度之后的图像，为对应的抓取功能图；f_θ用深度神经网络来实现；结合损失函数，整个训练目标可以用如下公式定义：

其中表示标签图。