[发明专利]面向运动物品的视觉机械臂自动抓取方法与系统

说明书

本发明提供的了一种面向运动物品的视觉机械臂自动抓取方法，通过利用深度学习的目标检测和目标跟踪来识别、定位、跟踪多个目标物品，按照目标物品抓取优先度生成一个抓取物品顺序列表，利用预测物品运动算法预测当前抓取物品的抓取点；利用逆运动解控制机械臂末端移动追踪物品，使标定抓取点与当前抓取物品在二维图像上重合；通过激光测距配合机械臂逆运动算法得到当前抓取目标的精确位置，实现机械臂的自动抓取。本发明提供一种视觉机械臂自动抓取系统，有效地解决了机械臂多目标抓取精度的问题，其视觉感知端能实时跟踪目标物品，可以应用于机械臂对运动物品的抓取；同时实现该系统仅仅需要一个单目RGB摄像机和激光测距模块，降低了生产成本。

技术领域

本发明涉及工业智能控制技术领域，更具体的，涉及一种面向运动物品的视觉机械臂自动抓取方法与系统。

背景技术

目前，关于机械臂的自动抓取主要是利用摄像机和机械臂进行手眼标定，获取摄像机和机械臂之间的坐标关系，最后将视觉识别的结果转移到机器人坐标系下，再控制机械臂进行抓取。这种办法需要使用有深度传感器的RGB-D摄像机或者双目摄像机，RGB-D摄像机具有近距离盲区，这种办法难以应用于中小型机械臂，而且精度能达到实现机械臂精确抓取的RGB-D和双目摄像机成本高。

针对这一问题，目前已有的解决办法技术有：

1、一种基于视觉识别的辅助抓取方法[1]Kalashnikov D,Irpan A,Pastor P,etal.QT-Opt:Scalable Deep Reinforcement Learning for Vision-Based RoboticManipulation[J].2018.，对比使用深度摄像机和对机械臂手眼标定的方法，虽然使用了深度学习方法，但是需要无人机进行辅助，并且需要边采集图像边训练模型的方式，成本更高，效率更低。

2、基于视觉深度学习特征的机器人机械手检测及抓取方法[2]Mahler J,LiangJ,Niyaz S,et al.Dex-net 2.0:Deep learning to plan robust grasps withsynthetic point clouds and analytic grasp metrics[J].arXiv preprint arXiv:1703.09312,2017.，这种方法将卷积神经网络作为一个图像匹配器，采用两个卷积神经网络，在线进行标准图像和关键帧图像匹配，采用图像旋转匹配的方式确定抓取姿态，但是在有多个物品场景的时候会影响匹配结果，最终影响到抓取结果。

3、公开号为CN108858199A的中国发明专利申请于2018年11月23日公开了一种基于视觉的服务机器人抓取目标物体的方法，通过先设定目标物体、摄像机、机械臂三者之间的位置关系，使用YOLOv2目标检测模型对抓取物品进行识别与定位，检测物品后让机械臂向目标物品移动最后抓取。但是只是使用目标检测识别定位物品，会出现检测丢失帧的情况，实时稳定性差。

4、公开号为CN108656107A的中国发明专利申请于2018年10月16日公开了一种基于图像处理的机械臂抓取系统及方法，利用基于深度学习的多目标识别与检测网络，检测所有未知物体，再利用双目测距获得对应的深度值，利用坐标转化将图像特征从2维的图像坐标系下转化为3维世界坐标系下，获得最优抓取位置。这种方法同样只使用了目标检测的方法，而且使用双目摄像机测距，多物品目标检测会出现检测丢失帧，无法抓取运动中的物品，实时稳定性差，成本更高。

发明内容

本发明为克服现有的机械臂自动抓取方法存在实时性差、感知精确度低的技术缺陷，提供一种面向运动物品的视觉机械臂自动抓取方法与系统。

为解决上述技术问题，本发明的技术方案如下：

面向运动物品的视觉机械臂自动抓取方法，包括以下步骤：

S1：标定机械臂在二维图像中的抓取点；