[发明专利]一种基于PointNet模型的袋装货物垛拆垛方法

说明书

本发明涉及货物拆垛，具体涉及一种基于PointNet模型的袋装货物垛拆垛方法，采集不同摆放情况下的袋装货物的三维点云图像，根据袋装货物三维轮廓人工对其进行标注，利用标注的三维点云图像数据对PointNet模型进行训练，利用TOF相机采集最上层货物的三维点云图像，并输入训练好的PointNet模型，得到最上层各货物的空间位置信息，根据最上层各货物的空间位置信息确定拆垛策略，机械臂执行单层拆垛作业，重复单层拆垛过程，直至托盘上所有货物被移除；本发明提供的技术方案能够有效克服现有技术所存在的RGB数据特征不明显或者特征点很少的袋装货物空间位置定位不够准确、拆垛作业效率较低的缺陷。

技术领域

本发明涉及货物拆垛，具体涉及一种基于PointNet模型的袋装货物垛拆垛方法。

背景技术

粮食、化肥、水泥等生活生产物资普遍采用袋装包装。为了便于存储和运输，袋装货物通常会根据品种、规格等分类后，成垛码放在托盘上。与箱装货物不同，袋装货物通常都具有一定的流动性，码放时形状不固定，且成垛码放时，处于不同层的袋装货物受到的挤压程度不同，越靠近托盘面的袋装货物受到的挤压力越大，形状越平整，越往上层，袋装货物形状差异越大。因此，在对袋装货物垛进行机械化拆垛时，需要依靠视觉设备对整个货物垛中的每袋货物进行识别和定位。

现有利用视觉设备进行货物垛拆垛，一般都是采用二维RGB数据和三维深度数据相结合的方法，例如利用结构光相机获取货物垛面的彩色图像信息，利用双目相机获取货物垛面的深度信息，上位机根据货物垛面的深度信息，对垛面进行分层，确定最上层货物的高度，同时，RGB数据与深度数据之间存在配准关系，根据最上层货物的高度区间提取出最上层货物的RGB数据，获得最上层货物的RGB数据后，上位机进行模板匹配或特征点匹配处理，以确定单个货物的平面位置。货物平面位置信息确定后，结合RGB数据与深度数据之间的配准关系，计算出各袋货物的空间位置信息，并对最上层货物进行拆垛，然后根据需要往下逐层进行拆垛。

模板匹配处理，是将获取的RGB数据与预先存储的包含有标识识别信息的目标模板进行旋转匹配，根据目标匹配系数获得目标匹配区域和目标旋转角度，实现对垛面单个货物的分割，并确定各袋货物的平面位置数据。

特征点匹配处理，是预先存储目标的特征点信息，计算采集的RGB数据与预存特征点信息之间的相似性程度，确定最上层各个货物的平面位置。

除此之外，还可以通过对目标货物进行RGB数据的采集和标注，利用标注好的数据对卷积神经网络进行训练，获得深度学习模型，再利用此深度学习模型确定各袋货物的平面位置。

模板匹配、特征点匹配和深度学习模型，都是对RGB数据进行处理，以确定货物的空间位置信息，深度数据并没有参与深度学习模型的训练。此类处理方法的拆垛准确率与袋装货物表面的RGB数据相关，取决于袋装货物表面特征点的数量，货物表面RGB数据特征越明显，对各袋货物的分割和定位效果才越好。

然而，在实际拆垛作业中，一些袋装货物的RGB数据特征不明显或者特征点很少，不利于货物空间位置信息的确定，存在空间位置定位不准确、分割识别错误等问题。与此同时，基于RGB数据的处理结果，还与RGB相机的分辨率相关，分辨率越高，图像特征越明显，但是数据量也越大，增加了后端软件算法的负担，导致耗时增加，处理速度变慢，降低了拆垛作业效率。

发明内容

(一)解决的技术问题

针对现有技术存在的RGB数据特征不明显或者特征点很少的袋装货物空间位置定位不够准确、拆垛作业效率较低的缺陷，本发明提供了一种基于PointNet模型的袋装货物垛拆垛方法。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于PointNet模型的袋装货物垛拆垛方法，包括以下步骤：