[发明专利]一种结合模板匹配与深度学习的商品种类检测方法

说明书

本发明公开了一种结合模板匹配与深度学习的商品种类检测方法。该方法总体上分为三个过程：1)输入货架图像，使用待检测物体事先采集的模板图像与货架图像进行特征点匹配，迭代得到所有能与模板图像匹配上的特征点集；2)利用模板图像对匹配上的各个特征点集区域分别进行对齐、裁剪，得到单个商品图像；3)对单个商品图像，使用深度学习的分类网络对其进行分类，得到具体类别。本发明方法利用手机对超商货架拍照进行自动物品检测，克服了人工理货员对商品计数时耗时长、人力消耗大的困难，可用于后续自动化计数、商品展示面积统计等具体应用。

技术领域

本发明涉及一种物体检测方法，尤其是涉及一种结合模板匹配与深度学习的商品种类检测方法。

背景技术

在日常生活中，超市、商店都会配备货架理货员，理货员除了整理货架商品之外，还需要不时地统计货架上商品的个数、某种商品在整个货架上的展示面积，提供给超市、供货商，作为调整货架商品摆放、评估商品销售速度、调整营销策略等用途时的重要参考数据。

目前，理货员一般都是对货架上的商品进行人工统计，人工统计一方面速度比较慢，超商需要安排更多的人力来做统计，另一方面可能会存在统计错误，在计数时数量数错或是将相似的商品误计数为同一类等。

针对这样的情况，自动化的货架图像物体检测方法能够代替传统的人工统计。物体检测是指在一幅图像中，找到所有属于待检测物体类别的物体，得到其位置、大小(用包围框描述)，并得到其具体类别。对货架图像进行自动化的物体检测能够快速得到感兴趣商品类的数量、货架展示面积占比等统计结果，上传数据、生成报告，节省了人力成本、有一定的准确率保障，并且方便管理人员查看。

目前效果比较好的基于深度学习的物体检测方法主要有Faster R-CNN、SSD等，但在货架物体检测问题中，由于一张完整的货架照片中包含了许多层、许多物体，每个物体的实际所占像素点面积比较小，直接对整张图像使用这些物体检测方法的效果并不理想。

发明内容

针对超商货架上商品数量统计的问题，由货架理货员人工统计费时费力，为了节省人力成本并保证一定的正确率，本发明提供了一种结合模板匹配与深度学习的商品种类检测方法。

本发明的技术方案是包括以下步骤：

1)对每一种待检测商品，采集具有同一商标图案的不同商品正面照片作为模板图像，并在每个图像中标记出商标区域和有效图案区域，采集货架正面照片作为货架图像；

待检测商品是具有相同的商标图案的商品，不同商标的商品需要分别单独检测。

所述的模板图像需要将商标和主要设计图案显露出来；商标区域是商标所在的图像区域，有效图案区域是商品厂商设计的具有辨识度图案所在的图像区域。

商标区域和有效图案区域通过抠图方式制作成掩码(mask)。

2)将每一模板图像与货架图像进行特征点匹配，得到货架图像中所有能与模板图像匹配上的特征点集；

3)对于步骤2)获得的各个特征点集，根据特征点集对货架图像进行对齐变换和裁剪处理生成单个商品图像；

4)对步骤3)中生成的各个商品图像，使用深度学习的分类网络进行检测分类，获得单个商品图像中商品种类的检测结果；

5)根据货架图像的各商品图像进行处理，构建货架图像中的商品区域，将位于同一商品区域的商品图像合并为一组，同一商品区域对应同一商品对象；

6)综合同一商品区域的各个商品图像的分类结果，获得货架图像该商品区域所对应商品种类的检测结果。该区域是指同一组特征点集所在的货架图像中的同一区域。