[发明专利]一种无人零售购物台商品检测方法

说明书

本发明公开一种无人零售购物台商品检测方法，解决现有技术在真实的无人零售场景中自助结算商品检测率低的问题。本发明基于实例分割框架Mask RCNN进行改进，在提取商品特征的主干网络中加入SE模块强化提取商品重要特征，使用Balance‑FPN进行特征融合，输出强化语义信息特征图；筛选IoU均匀分布的正样本训练边界框回归，并增加IoU预测分支为边界框打分，将边界框IoU分数作为边界框排序的标准，用边界框IoU分数乘以分类分数作为非极大值抑制的衡量标准。针对购物台商品数据集摆放密集紧凑，互相遮挡，且朝向和视角随机多样的特点和难点，完成了对商品的检测任务，提升了商品检测的准确率。

技术领域

本发明属于图像处理领域，具体涉及一种无人零售购物台商品检测的方法，可应用于无人零售购物台商品自助结算。

背景技术

近几年，无人超市快速兴起且发展迅速，像Amazon go、淘咖啡这样的自动化零售商店在国内外纷纷涌现，无人零售形式的快速发展已经成为无法忽视的现象，是一个有着巨大潜力的新型应用场景。人工智能算法在计算机视觉领域蓬勃发展，在设定的特定场景和任务中，通过算法处理信息可以达到非常高的认知水平。将人工智能技术应用于无人超市商品识别中，给人们的生活购物方式带来了巨大的改变。

目前对于超市的商品识别，主要有单阶段和双阶段目标检测算法，单阶段目标检测算法对主干卷积网络提取的特征图直接进行目标定位和分类，双阶段目标检测算法先进行一次目标区域的筛选，再对目标进行定位和分类，这样的方法可以过滤掉大量的背景候选框，使得目标检测的精度更高。实例分割算法的目标是检测定位图像中的特定对象，并将对象分割出来，Mask RCNN是两阶段多任务网络模型的典型代表，同时进行图像分类，目标检测和图像分割，并且在三种任务中都达到了比较好的效果。

自动识别商品进行结算是无人超市发展的重要一环。经过调研，商品识别过程中主要有两个挑战，一是光照条件对于商品识别的影响，二是结算过程中，商品摆放紧凑，互相遮挡，且出现的朝向和视角随机多样，增加了商品检测的难度。现有的单阶段和两阶段目标检测算法都是在公开的数据集上有较好的检测效果，当前缺少一种针对无人零售购物台商品数据集检测的方法。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了一种无人零售购物台商品检测方法。

本发明的技术方案是这样解决的：

一种无人零售购物台商品检测方法，所述方法包括如下步骤：

步骤1，制作购物台商品数据集；

步骤2，采用两阶段实例分割框架mask rcnn构建网络模型；

步骤3，训练购物台商品检测模型，将划分好的训练集对基于mask rcnn构建的网络模型进行训练，训练过程中结合验证集的精度和召回率指标，调整网络模型参数，最终停止训练网络模型，保存参数权重；

进一步，所述步骤1具体描述如下：

步骤1-1，根据顾客自助结算购物台商品摆放特点，设计商品摆放角度和朝向，并采用黑色背景降低光照对商品识别的影响，通过拍照设备制作收集4214张购物台商品数据集，包含80类不同的商品；

步骤1-2，使用labelme软件，手动标注数据集，标注完成后，为每张图片生成一个json文件，记录标记的信息；

步骤1-3，从购物台商品数据集中随机抽取2951张图片作为训练集，842张图片作为验证集，421张图片作为测试集，将划分好的数据集的json文件转换为coco数据集格式；

进一步，所述步骤2具体描述如下：

步骤2-1，主干网络提取原始图片的特征区域，生成共享特征图；