[发明专利]一种动态商品识别方法

权利要求书

1.一种动态商品识别方法，其特征在于：包括以下步骤：

S1.采集用户的购买行为视频，同时实时采集货柜内指定区域的实际称重数据；

S2.将购买行为视频分解为多帧购买图像，检测购买图像中用户的手图像和商品图像，得到手检测框、商品检测框和与商品检测框对应的商品标签；

S3.按时间序列对手检测框和商品检测框进行跟踪，为同一目标不同时刻的检测框赋予相同ID；

S4.判断手和商品的进出状态，得到手图像和商品图像的进出时序表；

S5.根据货柜内指定区域在每个时刻的实际称重数据，矫正手图像和商品图像的进出时序表，生成购买清单；

所述步骤S4的具体步骤如下：

S401.在货柜门处设定两条虚拟感应线，两条虚拟感应线将购买图像划分为外界区域、不确定区域和内部区域；

S402.判断同一ID的检测框的中心点与外界区域、不确定区域和内部区域的关系，如果该检测框的中心点位于内部区域，则判定该检测框位于内部区域，并记该检测框为标记I；如果该检测框的中心点位于不确定区域，则判定该检测框位于不确定区域，并记该检测框为标记N；如果该检测框的中心点位于外部区域，则判定该检测框位于外部区域，并记该检测框为标记O；由此对不同ID的手检测框和/或商品检测框编码出由INO组成的检测序列；

S403.对检测序列进行修改，直到检测序列中所有手检测框和商品检测框的标记均是标记I或标记O；

S404.每一个ID的检测框的检测序列中，设定标记I转换为标记O的时刻为手或商品离开货柜内部的时刻，并在手或商品离开货柜内部的时刻生成一则取出商品信息或回收手信息；设定标记O转换为标记I的时刻为手或商品进入货柜内部的时刻，并在手或商品进入货柜内部的时刻生成一则放入商品信息或伸出手信息，最终得到手图像和商品图像的进出时序表。

2.根据权利要求1所述的一种动态商品识别方法，其特征在于：所述步骤S2的具体步骤如下：

S201.将购买行为视频分解为多帧购买图像；

S202.对深度学习算法检测网络进行训练，使用训练好的深度学习算法检测网络检测购买图像中用户的手图像和商品图像；

S203.得到用户的手图像和商品图像在购买图像中的指定图像框中的手检测框、商品检测框和商品标签。