[发明专利]一种托盘纸箱垛型实时检测方法

权利要求书

1.一种托盘纸箱垛型实时检测方法，其特征在于包括以下步骤：

1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；

2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；

3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点；

4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；

5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型；

6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测；

所述步骤4)中，具体映射过程如下：

4.1)提取边缘轮廓：在二值图像上，通过阈值的变化，利用二值图像得到箱子的边缘轮廓，再将边缘轮廓的坐标一个一个的提取出来，得到最上层纸箱的边缘点；

4.2)建立彩色空间坐标的映射集，大小是424*512个，把深度图像的每个点在RGB空间里面的对应位置信息都存在的彩色空间坐标映射集中；

4.3)提取RGB轮廓中的感兴区域，首先由得到的边缘轮廓，通过得到由深度图像映射到RGB图像的轮廓线的内边缘像素点和外边缘像素点，采用内边像素点的坐标，对全图做轮廓内外点判断，提取在轮廓内的所有点坐标，再通过这些点坐标去RGB采集的原始数据中找到相应的彩色通道的坐标值，再对其进行复制，映射。

2.如权利要求1所述的一种托盘纸箱垛型实时检测方法，其特征在于：所述步骤2)中，递进找阈值过程如下：采用初始设定阈值进行二值化图像，并判断二值化之后的像素为255的像素数量是否大于预先设定数量，如果没有则对深度图像再进行一次二值化；以此类推，向下递进搜索，开始递增灰度阈值，不断地取阈值判断，如果在当前灰度阈值下发现最上层纸箱的轮廓，则停止递进，当前递进出来的灰度阈值则为最终用于提取箱子轮廓的灰度阈值。

3.如权利要求1所述的一种托盘纸箱垛型实时检测方法，其特征在于：所述步骤5)中，彩色图像分割步骤如下：

5.1)对由坐标映射得到的只含有垛上纸箱的彩色图像进行预处理，使彩色图像灰度化，并且用平滑的方法去掉图像区域边上的毛刺部分；

5.2)用Canny边缘检测提取纸箱边缘像素，并进行膨胀处理，将膨胀后的图像作为纸箱之间分割的依据来分割纸箱区域，之后再二值化纸箱区域；

5.3)此时得到的纸箱区域为白色区域，方便提取纸箱轮廓，设置阈值去除轮廓干扰，并依次采用非极大值抑制方法和基于长宽比统计的方法，得到的边框通过计算中点即为纸箱的抓取点。