[发明专利]一种物品自动抓取方法及自动抓取装置

权利要求书

1.一种物品自动抓取方法，奶粉袋原料(3)堆放在一个承载平面上，并设有自动抓取奶粉袋原料(3)的抓取机器人(2)，其特征在于：彩色摄像头(4)和深度摄像头(5)安装在所述承载平面上方，所述自动抓取方法包括如下步骤：

S1、通过彩色摄像头(4)从堆有奶粉袋原料(3)的区域获取图像信息；

S2、将所述图像信息送入进行目标识别的神经网络，神经网络从图像信息中识别出位于最顶部的奶粉袋原料(3)，对最顶部的奶粉袋原料(3)进行标记得到该标记范围中心在图像中的平面坐标(x，y)；

S3、通过所述平面坐标结合已知的彩色摄像头(4)的参数信息能计算出所述标记范围中心以彩色摄像头(4)为中心在承载平面上的透视投影坐标(X，Y)，透视投影坐标(X，Y)结合彩色摄像头(4)相对所述承载平面的高度H可得到三维向量A(X，Y，H)；

S4、通过深度摄像头(5)获取三维向量A(X，Y，H)方向上的最顶部的奶粉袋原料(3)到深度摄像头(5)的深度信息，深度信息与三维向量A(X，Y，H)结合计算出最顶部的奶粉袋原料(3)的实际三维坐标B(X₀,Y₀ H₀)；

S5、将实际三维坐标B(X₀,Y₀ H₀)输入抓取机器人(2)，抓取机器人(2)自动将最顶部的奶粉袋原料(3)抓取。

2.根据权利要求1所述的一种物品自动抓取方法，其特征在于：所述彩色摄像头(4)安装后需要在承载平面的设定位置放上棋盘格标定板，通过对拍摄图像中棋盘格内角点的标注获得相应图像上的坐标，再结合棋盘格标定板的实际坐标和已知的彩色摄像头(4)的内参数计算彩色摄像头(4)的外参数，实现对彩色摄像头(4)的标定。

3.根据权利要求2所述的一种物品自动抓取方法，其特征在于：所述神经网络在使用前要在标定彩色摄像头(4)后，通过多种堆叠方式的奶粉袋原料(3)进行拍照形成多个训练样本，对训练样本人工标注出最顶层的奶粉袋原料(3)，并将训练样本输入到目标识别用的神经网络进行识别标注最顶层的奶粉袋原料(3)的训练，直至神经网络的输出结果与人工标注的结果基本一致。

4.根据权利要求3所述的一种物品自动抓取方法，其特征在于：所述彩色摄像头(4)和所述深度摄像头(5)固定安装在承载平面上方同一高度，两者间的水平距离和位置固定，事先测定所述深度摄像头(5)相对所述彩色摄像头(4)的偏差坐标(a，b)，在所述步骤S4中，在获取深度信息前需要首先根据偏差坐标(a，b)在水平方向上对深度摄像头(5)采集的深度图像信息数据进行修正，令彩色摄像头(4)坐标系与深度摄像头(5)坐标系重合。

5.一种物品自动抓取装置，包括所述抓取机器人(2)，其特征在于：还包括输送机构(1)、彩色摄像头(4)和深度摄像头(5)，所述抓取机器人(2)设置与所述输送机构(1)抓取区域的侧边，所述输送机构(1)设有将奶粉袋原料(3)输送到所述抓取区域的移动部件，所述移动部件顶部为所述承载平面，所述输送机构(1)的机架侧面安装有摄像头支架(7)，所述摄像头支架(7)顶部具有悬伸端位于所述抓取区域正上方的摄像头安装板，所述彩色摄像头(4)和所述深度摄像头(5)固定安装在所述摄像头安装板底部，所述彩色摄像头(4)、所述深度摄像头(5)和所述抓取机器人(2)均连接工控机(6)进行数据传输；

所述工控机(6)获取彩色摄像头(4)拍摄的图像信息和所述深度摄像头(5)拍摄的深度图像信息，并根据权利要求1-4中任一所述自动抓取方法，向所述抓取机器人(2)发出抓取指令。

6.根据权利要求5所述的一种物品自动抓取装置，其特征在于：所述深度摄像头(5)紧挨着所述彩色摄像头(4)且二者均竖直朝下设置。

7.根据权利要求6所述的一种物品自动抓取装置，其特征在于：所述移动部件为输送带或沿轨道移动的托盘。

8.根据权利要求7所述的一种物品自动抓取装置，其特征在于：所述抓取机器人(2)为多关节机器人，通过PLC连接到所述工控机(6)。