[发明专利]一种物品自动抓取方法及自动抓取装置

说明书

本发明公开了一种物品自动抓取方法及自动抓取装置，自动抓取方法通过彩色摄像头采集图像，并通过训练后的神经网络实现对最顶部奶粉袋原料的精确识别，再通过计算得到对最顶部奶粉袋的透视向量，由深度摄像头获取的深度图像信息依据透视向量得到对应方向上的深度数据，求出最顶部奶粉袋原料的实际三维坐标。本发明既能准确识别最顶端的奶粉袋原料，又能获得其精确度高的三维坐标，从而令抓取机器人能实现自动抓取最顶部的奶粉袋原料，从上至下依次抓取过程不易出错，可靠性高。

技术领域

本发明属于机械视觉领域，具体涉及一种物品自动抓取方法及自动抓取装置。

背景技术

现有技术中在工厂中实现自动化的方案中很多方面都是通过相机或摄像头拍摄图像后通过机械视觉进行识别图像和确定目标的实际位置，在将实际位置的三维坐标输入机器人，有机器人实现自动抓取物品。比如在工厂中对奶粉进行包装的奶粉袋在使用之前是捆扎或包装在外包装袋中，自动化生产时从包装袋生产厂运来的奶粉袋原料倒在运输托盘或输送带上运送到指定区域，通过摄像头拍摄识别后由抓取机器人自动抓取后逐个放置前往下一工序的输送装置，这是因为倒下的奶粉袋原料容易相互堆叠，需要抓取吸机器人将之再次逐个放置到输送装置实现奶粉袋原料的等距离平铺。

然而由于奶粉袋原料本身作为原料包装简易，自身缺乏明显而易于识别的图案色彩，且包装盒奶粉袋都属于柔性产品，堆叠时容易发生形变，并且上层的奶粉袋原料会遮蔽下面的，现有的视觉识别装置难以识别奶粉袋原料的位置。

彩色摄像头无法获得图像中物体的高度信息，即使采用双目匹配法也难以有效保证高度信息的精度，使用的是物体本身的特征点，对表面颜色和纹理特征不明显的物体失效。而奶粉袋原料本身作为原料包装简易，自身缺乏明显而易于识别的图案色彩。而深度摄像头虽具有较好的深度信息检测能力，但其输出的是包含深度信息的三维坐标信息，难以对易变形的奶粉袋原料进行人工标定，因此难以进行神经网络的训练，不能有效识别出最顶部的奶粉袋原料。

不能有效实现对最顶层奶粉袋原料的实际三维位置的准确识别，机器人也就不能完全自动地实现抓取顶层奶粉袋原料的功能，需要工作人员将堆叠后无法识别的奶粉袋分散铺开，大大降低了自动化生产的效率，增大了劳动强度。

发明内容

本发明的目的在于提供一种物品自动抓取方法及自动抓取装置，以解决现有技术中因为奶粉袋原料为柔性货物，易变形，缺乏易于识别图案，堆叠后难以被现有视觉识别系统准确识别出堆叠后位于上层的奶粉袋原料的实际三维坐标，因此难以通过机械手实现对上层奶粉袋原料自动抓取的问题。

所述的一种物品自动抓取方法，奶粉袋原料堆放在一个承载平面上，并设有自动抓取奶粉袋原料的抓取机器人，彩色摄像头和深度摄像头安装在所述承载平面上方，所述自动抓取方法包括如下步骤：

S1、通过彩色摄像头从堆有奶粉袋原料的区域获取图像信息；

S2、将所述图像信息送入进行目标识别的神经网络，神经网络从图像信息中识别出位于最顶部的奶粉袋原料，对最顶部的奶粉袋原料进行标记得到该标记范围中心在图像中的平面坐标(x，y)；

S3、通过所述平面坐标结合已知的彩色摄像头的参数信息能计算出所述标记范围中心以彩色摄像头为中心在承载平面上的透视投影坐标(X，Y)，透视投影坐标(X，Y)结合彩色摄像头相对所述承载平面的高度H可得到三维向量A(X，Y，H)；

S4、通过深度摄像头获取三维向量A(X，Y，H)方向上的最顶部的奶粉袋原料到深度摄像头的深度信息，深度信息与三维向量A(X，Y，H)结合计算出最顶部的奶粉袋原料的实际三维坐标B(X₀,Y₀H₀)；

S5、将实际三维坐标B(X₀,Y₀H₀)输入抓取机器人，抓取机器人自动将最顶部的奶粉袋原料抓取。