[发明专利]图像处理方法、装置、设备和视觉引导拆垛方法、系统

权利要求书

1.图像处理方法，其特征在于，所述方法包括：

S1、获取箱垛的2D图像和箱垛的原始3D云图；

S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；

S3、根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；

S4、根据目标3D云图确定箱垛中待取的箱体的个数和位置。

2.根据权利要求1所述的图像处理方法，其特征在于，所述步骤S2、利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓包括：

S21、搭建深度学习模型，训练模型权重参数；

S22、部署深度学习模型；

S23、通过3D相机采集箱垛的2D图像信息；

S24、深度学习模型根据输入箱垛的2D图像输出分割箱体的掩模；

S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓。

3.根据权利要求2所述的图像处理方法，其特征在于，所述步骤S25、根据分割出的箱体的掩模和箱垛的2D图像获得箱垛中各个箱体的轮廓包括：

S251、对分割出的箱体掩模进行等比例缩放及尺寸变换，获得与箱垛2D图像相同大小的中间图像；

S252、将箱垛的2D图像与所述中间图像进行比对、求交及形态学变换处理得到箱垛中各个箱体的轮廓。

4.根据权利要求2所述的图像处理方法，其特征在于：所述步骤S21获取用于实例分割处理的深度学习模型包括：

S211、搭建实例分割深度学习模型框架；

S212、获取箱垛单个货物单元的样本图像数据；

S213、将货物单元的样本图像数据集作为训练集，对深度学习模型进行训练，得到深度学习模型权重参数。

5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述步骤S4、根据目标3D云图确定箱垛中待取的箱体的位置和个数包括：

S41、通过机器学习聚类算法计算出目标3D云图中待取的箱体个数；

S42、通过Kmeans聚类算法计算出目标3D云图中待取的每个箱体的位置。

6.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述步骤S1、获取箱垛的2D图像和箱垛的原始3D云图包括：

S11、用光栅对箱垛进行照射；

S12、用LED光源对箱垛进行补光；

S13、利用3D相机拍摄经光栅照射和LED光源补光的箱垛。

7.图像处理装置，其特征在于，所述装置包括：

图像获取模块，所述图像获取模块用于获取箱垛的2D图像和箱垛的原始3D云图；

箱体的轮廓获取模块，所述箱体的轮廓获取模块用于利用深度学习模型对箱垛的2D图像进行实例分割，从而得到箱垛中各个箱体的掩模，随后对掩模进行数据变化得到箱体的轮廓；

干扰点去除模块，所述干扰点去除模块用于根据箱体的轮廓消除原始3D云图中的干扰点后得到目标3D云图；

箱体个数和位置确定模块，所述箱体个数和位置确定模块用于根据目标3D云图确定箱垛中待取的箱体的个数和位置。

8.图像处理设备，其特征在于，包括：3D相机，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，所述3D相机用于获取箱垛的2D图像和箱垛的原始3D云图，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。

9.视觉引导拆垛方法，其特征在于，包括以下步骤：

S10、将箱垛运送至待拆垛位置；

S20、利用权利要求1-7中任一项所述的方法获取箱垛中待取的箱体位置；

S30、拆垛机器人根据箱垛中待取的箱体位置，从箱垛中取出待取的箱体并放置到运输设备的箱体接收位置。

10.视觉引导拆垛系统，其特征在于，包括权利要求8所述的图像处理设备和拆垛机器人，箱垛运输设备，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现权利要求9所述的方法。