[发明专利]一种基于深度信息匹配RGB的快递包裹实时检测识别算法

说明书

本发明公开了一种基于深度信息匹配RGB的快递包裹实时检测识别算法，包括以下步骤：a.深度相机对快递包裹的深度图和RGB图进行采集，再将RGB图和深度图进行对齐处理；b.根据深度阙值对深度图进行筛选，只保留深度图中的有效目标；c.将筛选后深度图中的有效目标利用二值化进行处理，得到仅关于快件物体的Mask图；d.检测Mask图的目标轮廓，并计算轮廓矩获取各个目标像素坐标；e.利用深度图得到的目标像素坐标，得到目标的大致位置，并利用目标像素坐标与RGB图做处理，得到各个目标的大致ROI区域，并生成各个目标ROI图。本发明设计的算法复杂度低，易于大规模部署，可以在低性能CPU上实现高效率、高精度的快件检测，提高了检测的准确性，减少了计算的冗余。

技术领域

本发明涉及快递包裹实时检测识别技术领域，具体涉及一种基于深度信息匹配RGB的快递包裹实时检测识别算法。

背景技术

多快件分离系统的对快件检测算法的实时性和精度都有较高的要求，现有的基于深度学习的高精度目标检测算法需要部署在高性能的GPU上，于工业场景而言，成本过高，不适用于大规模部署，与多快件分离系统降低分拣成本的初衷相悖。

如授权公告号为CN113344949A，授权公告日为2021-09-03的一种基于RGB图像的包裹检测方法、系统、介质及终端，建立手动标记的快递包裹图像数据集，使用K-means算法对数据集的锚框进行聚类；使用具有数据增强策略的YOLOv3-tiny深层卷积神经网络进行训练和测试。本发明以较高的定位精度快速提取包裹位置，为后续分离做准备，提高了快递包裹检测的智能性和效率，满足快递包裹的检测需求。实验表明，该方法对快递包裹的检测具有较高的准确性和实用性。

如授权公告号为CN109978929A，授权公告日为2019-07-05的一深度信息摄像模组的RGB-D图像合成效果。该深度信息摄像模组的RGB-D图像合成优化系统包括一标定模块，一对齐量化模块和一调整优化模块。该标定模块可通信地连接于该深度信息摄像模组，供标定该深度成像模块和该RGB成像模块的标定参数；该对齐量化模块可通信地连接于该深度信息摄像模组和该标定模块，供量化该IR图像和该RGB图像的特征点对齐效果，以间接地量化该深度图像数据和该RGB图像的对齐效果。

上述以及在现有技术中的，现有轻量级算法的精度并不能满足多快件分离系统对精度的需求，且部署配置困难，同样不适用于大规模应用。因此，亟需设计一种基于深度信息匹配RGB的快递包裹实时检测识别算法来解决上述问题。

发明内容

本发明的目的是提供一种基于深度信息匹配RGB的快递包裹实时检测识别算法，以解决现有技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：

一种基于深度信息匹配RGB的快递包裹实时检测识别算法，包括以下步骤：

a.深度相机对快递包裹的深度图和RGB图进行采集，再将RGB图和深度图进行对齐处理；

b.根据深度阙值对深度图进行筛选，只保留深度图中的有效目标；

c.将筛选后深度图中的有效目标利用二值化进行处理，得到仅关于快件物体的Mask图；

d.检测Mask图的目标轮廓，并计算轮廓矩获取各个目标像素坐标；

e.利用深度图得到的目标像素坐标，得到目标的大致位置，并利用目标像素坐标与RGB图做处理，得到各个目标的大致ROI区域，并生成各个目标ROI图；

f.将各个目标ROI图进行形态滤波预处理，对纵横比阙值进行筛选；

g.对纵横比阙值筛选后的ROI图进行腐蚀操作去粘连部位干扰，并对腐蚀操作后的轮廓进行空洞填充；

h.利用轮廓检测算法对处理后的ROI图进行轮廓检测，筛选掉过大和过小像素面积的错误轮廓；

i.再利用轮廓矩算法计算各个目标轮廓的左上角点与右下角点坐标，最终在RGB图中绘制出来，完成检测算法。