[发明专利]一种基于视觉的机械臂自主抓取方法

说明书

本发明涉及机器人技术领域，更具体地，涉及一种基于视觉的机械臂自主抓取方法。提出了基于对抗抓取规则的纠正抓取策略，利用该策略可以实现在仿真平台进行试错抓取得到符合该规则的抓取样本。利用该方法采集的样本清晰的表达了对抗抓取规则的抓取模式，有利于模型的学习。整个数据采集过程无需人工干预，也无需任何真实数据，避免了真实数据采集可能带来的问题。只需要少量该方法采集的仿真数据，训练后的模型可以直接应用到不同的真实的抓取场景中。整个训练过程无需域自适应和域随机化操作，且准确率和鲁棒性高。

技术领域

本发明涉及机器人技术领域，更具体地，涉及一种基于视觉的机械臂自主抓取方法。

背景技术

机器人抓取主要分为分析方法和经验方法两个方向。分析方法通常指基于柔性、平衡性、稳定性和动态确定性四个属性定义的规则构建力封闭抓取。该方法通常可以构建成一个带约束优化问题。经验方法即为数据驱动方法，通常指基于数据提取出物体的特征表示，然后利用设定的抓取启发式规则实现抓取决策。

由于深度学习在计算机视觉领域取得了巨大的进展，其在机器人领域也开始得到了广泛的关注和研究。Pinto et al.Supersizing Self-supervision:Learning to Graspfrom 50K Tries and 700Robot Hours。利用机器人试错抓取的方式采集了50000的抓取数据集，并训练一个深度神经网络实现抓取角度的决策。该方法对于未见过的物体有73％的准确率。Levine et at.Learning Hand-Eye Coordination for Robotic Grasping withDeep Learning and Large-Scale Data Collection。利用6-14个机器人耗时两个多月的时间采集了800000的抓取数据集，并利用该数据集训练了一个评价模型。该模型可以针对当前的场景对动作命令进行评价，找出最优动作命令。这个方法可以达到80％的抓取准确率。

上述的方法都有较高的抓取成功率，然而其都需要机器人进行抓取试错进行数据采集。这种方式耗时耗力，并且存在较大的安全隐患。

Mahler et al.Dex-Net 2.0:Deep Learning to Plan Robust Grasps withSynthetic Point Clouds and Analytic Grasp Metrics。基于对抗抓取规则在仿真平台中采样物体抓取点，再利用力封闭的方式获得鲁棒性高的采样点。基于上述方式得到的数据训练一个抓取质量评估神经网络，该方法在对抗物体上可以实现高达93％的抓取成功率。该方法虽然能够有较高的准确率，然而训练模型需要的数据量非常大，其原因之一为采集的样本数据没有清晰的体现出其定义的抓取模式。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于视觉的机械臂自主抓取方法，通过该方法在仿真平台中抓取的数据有利于模型的学习。

为解决上述技术问题，本发明采用的技术方案是：一种基于视觉的机械臂自主抓取方法，包括以下步骤：

S1.在仿真环境中，搭建一个类似于现实场景的环境，并采集全局图像；

S2.对数据进行处理，预处理后的数据包括：包含整个工作空间信息的全局图像、物体掩膜以及与全局图像相同尺度的标签图；处理过程包括：首先根据图像中物体所在像素的位置集合生成物体掩膜，再根据物体掩膜、抓取像素位置和抓取标签生成标签掩膜，以及用抓取位置和抓取标签生成标签图；然后根据抓取问题定义，对抓取角度进行离散化；

S3.训练深度神经网络：

(1)将输入RGB图进行归一化，然后合成一个批；

(2)将该批数据传入全卷积神经网络，得到输出值；

(3)根据结合标签掩膜的交叉熵误差，计算预测值与标签的误差，通过如下损失函数计算：