[发明专利]图像处理方法、装置、设备和视觉引导拆垛方法、系统

说明书

本发明公开了一种图像处理方法、装置、设备和视觉引导拆垛方法、系统，涉及仓储物流技术领域。本发明的图像处理方法包括：S1、获取图像和云图；S2、获取箱体轮廓；S3、消除干扰点；S4、得到位置。本发明的图像处理装置，包括图像获取模块；轮廓获模块取；干扰点去除模块；箱体位置确定模块。本发明的图像处理设备包括3D相机，处理器、存储器。本发明的视觉引导拆垛方法：S10、运送箱体；S20、获取箱箱体位置；S30、取出箱体。本发明的视觉引导拆垛系统，包括图像处理设备和拆垛机器人，箱垛运输设备，处理器、存储器。本发明的图像处理方法、装置、设备和视觉引导拆垛方法、系统，可以解决现有技术无法准确识别出货箱准确位置的技术问题。

技术领域

本发明涉及仓储物流技术领域，尤其是一种图像处理方法、装置、设备和视觉引导拆垛方法、系统。

背景技术

在物流领域，有时为了便于货物运输或者存放有时需要将货箱堆放在一起形成多层结构的箱垛，有时需要将对箱垛拆开成一个个的箱体。在实际应用中，需要拆分的箱垛的形式即货箱堆放的方式可能不同，每个箱体的堆放的位置也不同。如果采用人工进行拆垛，效率低人力成本高，不适合大批量，流水化的物流作业。由于现有的拆垛设备无法针对不同的箱垛形式准确识别出货箱的个数和每个货箱的准确位置，导致现有的拆垛机器人无法准确将货箱从箱垛中取出后运送到下一个环节。

发明内容

本发明提供了一种图像处理方法、装置、设备和视觉引导拆垛方法、系统，用以解决现有的拆垛技术无法针对不同的箱垛形式准确识别出货箱的个数和每个货箱的准确位置的技术问题。

第一方面，本发明提供了一种图像处理方法，所述方法包括：

S1、获取箱垛的2D图像和箱垛的原始3D云图；

S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；

S3、根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；

S4、根据目标3D云图确定箱垛中待取的箱体的个数和位置。

优选地，所述步骤S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓包括：

S21、搭建深度学习模型，训练模型权重参数；

S22、部署深度学习模型；

S23、通过3D相机采集箱垛的2D图像信息；

S24、深度学习模型根据输入箱垛的2D图像输出分割箱体的掩模；

S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓。

优选地，所述步骤S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓包括：

S241、对分割出的箱体掩模进行等比例缩放及尺寸变换，获得与箱垛2D图像相同大小的中间图像；

S242、将箱垛的2D图像与所述中间图像进行比对、求交及形态学变换处理得到箱垛中各个箱体的轮廓。

优选地，所述步骤S21获取用于实例分割处理的深度学习模型包括：

S211、搭建实例分割深度学习模型框架；

S212、获取箱垛单个货物单元的样本图像数据；

S213、将货物单元的样本图像数据集作为训练集，对深度学习模型进行训练，得到深度学习模型权重参数。

优选地，所述步骤S4、根据目标3D云图确定箱垛中待取的箱体的位置和个数包括：