[发明专利]一种动态商品识别方法

说明书

本发明涉及图像识别技术领域，其目的在于提供一种动态商品识别方法。本发明包括以下步骤：S1.采集用户的购买行为视频，同时实时采集货柜内指定区域的实际称重数据；S2.将购买行为视频分解为多帧购买图像，检测购买图像中用户的手图像和商品图像，得到手检测框、商品检测框和与商品检测框对应的商品标签；S3.按时间序列对手检测框和商品检测框进行跟踪，为同一目标不同时刻的检测框赋予相同ID；S4.判断手和商品的进出状态，得到手图像和商品图像的进出时序表；S5.根据货柜内指定区域在每个时刻的实际称重数据，矫正手图像和商品图像的进出时序表，生成购买清单。本发明结合重量和视觉识别商品，可用于复杂环境，抗干扰能力强，同时识别准确率高。

技术领域

本发明涉及图像识别技术领域，特别是涉及一种动态商品识别方法。

背景技术

在货柜的场景下，常用的商品识别有RFID无线射频识别技术、静态图像的商品检测、纯粹重量的检测推算等识别方法。以上方法各有各的不足缺陷，其中，采用RFID无线射频识别技术，需要在商品售卖的前期需要大量人力粘贴RFID无线射频标签，人力成本和标签本身的成本都很高，不利于薄利多销的零售货柜，再者，RFID无线射频标签容易受到金属的干扰，不利于实际应用；采用静态图像的商品识别技术，由于一般对货柜的层架结构和商品摆放结构有一定的要求，而识别商品用的摄像头需要安装在货柜内，但又需要层架离摄像头有一定距离，导致货柜空间利用率低，另外货品和货品的摆法堆叠将使镜头图像的商品识别方法失效；而纯粹依靠重量的增加和减少去推算的技术，则限制了可供上架的商品类型，一旦不同类商品的重量相似或成倍相似，则无法推算出准确购买清单。因而，有必要研究一种结合重量和视觉识别的动态商品识别方法。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种动态商品识别方法。

本发明采用的技术方案是：

一种动态商品识别方法，包括以下步骤：

S1.采集用户的购买行为视频，同时实时采集货柜内指定区域的实际称重数据；

S2.将购买行为视频分解为多帧购买图像，检测购买图像中用户的手图像和商品图像，得到手检测框、商品检测框和与商品检测框对应的商品标签；

S3.按时间序列对手检测框和商品检测框进行跟踪，为同一目标不同时刻的检测框赋予相同ID；

S4.判断手和商品的进出状态，得到手图像和商品图像的进出时序表；

S5.根据货柜内指定区域在每个时刻的实际称重数据，矫正手图像和商品图像的进出时序表，生成购买清单。

优选的，所述步骤S2的具体步骤如下：

S201.将购买行为视频分解为多帧购买图像；

S202.对深度学习算法检测网络进行训练，使用训练好的深度学习算法检测网络检测购买图像中用户的手图像和商品图像；

S203.得到用户的手图像和商品图像在购买图像中的指定图像框中的手检测框、商品检测框和商品标签。

优选的，所述步骤S3中，使用检测框跟踪算法按时间序列对手检测框和商品检测框进行跟踪；所述步骤S3的具体步骤如下：

S301.删除与商品检测框有交集的手检测框：

定义手检测框为：

bndbox_hand＝[h_xmin,h_ymin,h_xmax,h_ymax]，

定义商品检测框为：

bndbox_goods＝[g_xmin,g_ymin,g_xmax,g_ymax]，