[发明专利]面向运动物品的视觉机械臂自动抓取方法与系统

权利要求书

1.面向运动物品的视觉机械臂自动抓取方法，其特征在于，包括以下步骤：

S1：标定机械臂在二维图像中的抓取点；

S2：利用目标检测算法对物品进行识别定位，将目标检测识别到的所有物品的位置信息作为多目标跟踪深度学习算法输入，实时获取所有目标物品在图像中的位置信息；

S3：按照目标物品抓取优先度生成一个抓取物品顺序列表，在进行目标实时跟踪的同时，利用预判物品运动算法预测当前抓取物品的抓取点；

S4：利用逆运动解控制机械臂末端移动追踪物品，使标定抓取点与当前抓取物品在二维图像上重合；通过激光测距配合机械臂逆运动算法得到当前抓取目标的精确位置，实现机械臂的自动抓取。

2.根据权利要求1所述的面向运动物品的视觉机械臂自动抓取方法，其特征在于，所述步骤S1具体为：

在机械臂末端上安装有单目RGB摄像机和激光传感模块；在标定机械臂的二维图像抓取点时，先将一个物品放在机械臂末端，仅仅通过在垂直方向上位移就能抓取到的位置上；此时记录在末端单目RGB摄像机检测到的该目标的抓取点在二维图像中的像素坐标，将该像素坐标作为机械臂的标定抓取点。

3.根据权利要求2所述的面向运动物品的视觉机械臂自动抓取方法，其特征在于，所述步骤S2具体为：

在机械臂末端安装有单目RGB摄像机，作为视觉伺服器监听图像并将每一帧图像输入到目标检测算法中；

通过目标检测算法识别定位抓取目标，输出所有检测物品的边界框；

根据得到的边界框由多目标跟踪深度学习算法计算边界框内的物品图像特征和运动特征，根据特征的相似度在后续摄像机图像中一直更新的候选框中框住目标物品，并为每个目标物品分配数字ID；

根据这些数字ID获得每个目标物品在图像中的实时位置。

4.根据权利要求3所述的面向运动物品的视觉机械臂自动抓取方法，其特征在于，所述步骤S3具体为：

按照目标物品抓取优先度生成一个抓取物品顺序列表；

根据抓取物品顺序列表，利用预测物品运动算法预测当前抓取物品的最佳抓取点，具体为：

让机械臂观测时间间隔为s的运动物品运动距离(1x,1y)，设当前时间为t，下一个时间间隔为s的时间为t+1，这个算法目的是时间t+1时，物品运动的到的位置(x，y).当目标物品在时间t-1坐标为(x',y')，运动后t时间的坐标为(x_,y_)，则

1x＝x_-x′

1y＝y_-y′，

那么时间t+1的预测坐标为：

x＝x_+1x

y＝y_+1y

将该预测坐标作为机械臂的最佳抓取点。

5.根据权利要求4所述的面向运动物品的视觉机械臂自动抓取方法，其特征在于，所述步骤S4具体为：

先将机械臂基于以底座中心为坐标原点在坐标系在x、y轴平面运动的距离和二维RGB图像中运动的像素距离作数量映射；

然后利用逆运动学解算机械臂末端基于x、y轴形成的平面移动实时追踪物品，直到使其标定抓取点与物品预测的最优点重合；

此时通过设置在机械臂末端的激光传感模块将以机械臂底座中心为坐标原点的坐标系z轴上的距离测出，即此时物品在以机械臂底座中心为坐标原点的坐标系上的三维坐标就能被确定；

最后利用逆运动解使机械臂末端能够到达目标物品的位置实现抓取。