[发明专利]一种基于视觉的机械臂自主抓取方法

摘要

本发明涉及机器人技术领域，更具体地，涉及一种基于视觉的机械臂自主抓取方法。提出了基于对抗抓取规则的纠正抓取策略，利用该策略可以实现在仿真平台进行试错抓取得到符合该规则的抓取样本。利用该方法采集的样本清晰的表达了对抗抓取规则的抓取模式，有利于模型的学习。整个数据采集过程无需人工干预，也无需任何真实数据，避免了真实数据采集可能带来的问题。只需要少量该方法采集的仿真数据，训练后的模型可以直接应用到不同的真实的抓取场景中。整个训练过程无需域自适应和域随机化操作，且准确率和鲁棒性高。

主权项

1.一种基于视觉的机械臂自主抓取方法，其特征在于，包括以下步骤：S1.在仿真环境中，搭建一个类似于现实场景的环境，并采集全局图像；S2.对数据进行处理，预处理后的数据包括：包含整个工作空间信息的全局图像、物体掩膜以及与全局图像相同尺度的标签图；处理过程包括：首先根据图像中物体所在像素的位置集合生成物体掩膜，再根据物体掩膜、抓取像素位置和抓取标签生成标签掩膜，以及用抓取位置和抓取标签生成标签图；然后根据抓取问题定义，对抓取角度进行离散化；S3.训练深度神经网络：(1)将输入RGB图进行归一化，然后合成一个批；(2)将该批数据传入全卷积神经网络，得到输出值；(3)根据结合标签掩膜的交叉熵误差，计算预测值与标签的误差，通过如下损失函数计算：其中Y为标签图，M为标签掩膜，表示最后一层卷积层的输出特征图；S4.将训练好的模型应用到真实抓取环境中。