[发明专利]一种基于深度匹配网络的商品种类识别方法

说明书

本发明公开了一种基于深度匹配网络的商品种类识别方法。该方法总体上分为3个过程：1)输入货架图像和待识别商品的模板图像，将模板图像与货架图像进行特征点匹配，得到货架图像与模板图像匹配的特征点对列表；2)利用匹配的特征点对列表，对货架图像进行对齐与裁剪，得到单个商品图像；3)对单个商品图像，使用深度匹配网络对其进行分类，确定货架图像上商品的位置和类别。本发明方法利用手机相机对货架进行拍摄，克服了现有超市盘点方法人力消耗大、耗时长的困难，实现了基于重复模式方法与深度匹配网络的商品识别。

技术领域

本发明涉及一种商品识别方法，尤其是涉及一种基于深度匹配网络的商品种类识别方法。

背景技术

超市作为现代社会中必不可少的购物场所，越来越受到消费者的青睐，同时也在近年来零售业的蓬勃发展中起着至关重要的作用。商品是超市的核心，良好的商品管理是提高超市运作效率和综合竞争力的重要手段，是超市生存和发展的根本。

货架作为商品的载体，其状态包含许多有用信息。比如商品的数量反映了实时销售情况，可用于确定是否需要及时补货，为进货和商品结构调整提供重要的参考；实际商品种类与设计的商品种类对比，确定是否出现商品的错误放置，需要人工整理。因此，准确掌握货架信息有助于提高超市的销售业绩和顾客体验。目前，货架上商品信息的统计主要由工作人员在盘点时完成，涉及人工记录和录入，有工作量大、需要大量人力、消耗时间长和易出错的缺点，难以做到信息更新的准确和及时，不利于库存问题的发现和应对。近几年来，超市已经开始广泛使用商品管理软件来收集和存储销售数据，然而大部分管理软件是静态的商品数量、种类的存储软件，只能看到统计信息，无法实时的了解货架上商品的情况。因此，开发一种软件实时地对货架上的商品信息进行自动统计和分析，提高盘点的效率和准确性并降低劳动成本是十分重要的。

商品识别以货架图像为信息来源，自动获取图像中的商品种类和位置信息，是商品计数和报表生成的基础。针对商品盘点工作量大，商品种类迅速增加的需求，现有技术缺少了一种准确、高效的商品识别方法。

发明内容

针对目前超市盘点方法人力消耗大、耗时长的不足，本发明的目的是提供一种基于深度匹配网络的商品种类识别方法，可使用手机相机对货架进行拍摄，根据模板图像识别货架图像中的商品。

本发明采用的技术方案是包含以下步骤：

1)对每一种待识别商品，采集正面照片作为模板图像，并在每个图像中标记出商标区域和有效图案区域，采集货架正面照片作为货架图像；

待识别商品是要求在货架图像中查找的商品列表。

所述的模板图像需要将商标和主要设计图案显露出来；商标区域是商标所在的图像区域，有效图案区域是商品厂商设计的具有辨识度图案所在的图像区域。有效图案区域指包含商品正面商标、图案和文字的矩形区域，即有效图案区域包含了商标区域。

商标区域和有效图案区域通过抠图方式制作成掩码(mask)。

2)将每一模板图像中的商标区域与货架图像进行特征点匹配，得到货架图像与模板图像商标区域的匹配特征点对列表；

3)对步骤2)获得的各个匹配特征点对列表，对货架图像进行对齐和裁剪处理生成单个商品图像；

4)对步骤3)中生成的各个单个商品图像，使用深度匹配网络方法和各个模板图像中的有效图案区域进行匹配，获得单个商品图像中商品种类的分类结果；

5)根据货架图像的各单个商品图像进行处理，构建货架图像中的商品区域，将属于同一商品区域的单个商品图像合并为一组，同一商品区域对应同一商品对象；

6)综合同一商品区域的各个单个商品图像的分类结果，获得货架图像该商品区域所对应的商品种类的分类结果。该区域是指一个商品所在的货架图像中的区域。