[发明专利]一种商品识别方法、无人售货机及计算机可读存储介质

权利要求书

1.一种商品识别方法，其特征在于，所述方法应用于无人售货机，包括：

当检测到所述无人售货机的门打开时，通过摄像头采集所述无人售货机内的视频数据，所述视频数据为所述无人售货机的门从打开到关闭之间采集的视频数据；

从所述视频数据中选取第一视频数据，所述第一视频数据是重力传感器的数值变小后第一时间段内的视频数据；

从所述视频数据中选取第二视频数据，所述第二视频数据是所述重力传感器的数值变大前第二时间段内的视频数据；

对所述第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像；

对所述差分图像进行二值化处理，获得二值差分图像；

对所述二值差分图像进行边缘检测，获得轮廓面积；

从所述第一视频数据中选取所述轮廓面积大于阈值对应的图像为变动帧图像；

通过训练的目标物体检测模型识别所述变动帧图像包括的商品，获得第一图像商品的种类、数量和位置；

从所述第一图像商品中选取位置高于最高位置的商品为被用户拿起的商品，所述最高位置是所述训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，所述背景图像是所述无人售货机的门打开前通过所述摄像头采集的所述无人售货机内的图像；

根据所述第一图像商品的种类和数量确定所述被用户拿起的商品的种类和数量；

通过所述训练的目标物体检测模型识别所述第二视频数据包括的商品，获得第二图像商品的种类、数量和位置；

从所述第二图像商品中选取位置高于所述最高位置的商品为被用户放下的商品；

根据所述第二图像商品的种类和数量确定所述被用户放下的商品的种类和数量；

根据所述被用户拿起的商品的种类和数量以及所述被用户放下的商品的种类和数量，确定被用户取走的商品的种类和数量。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述背景图像转换为灰度图像，获得灰度背景图像；

对所述灰度背景图像进行高斯平滑处理，获得平滑背景图像；

所述通过训练的目标物体检测模型识别所述第一视频数据包括的商品，获得第一图像商品的种类、数量和位置还包括：

将所述第一视频数据中每帧图像转换为灰度图像，获得灰度视频数据；

对所述灰度视频数据进行高斯平滑处理，获得平滑视频数据；

所述对所述第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像包括：

对所述平滑视频数据中每帧图像与所述平滑背景图像进行差分运算，获得差分图像。

3.根据权利要求2所述的方法，其特征在于，所述通过训练的目标物体检测模型识别所述第一视频数据包括的商品，获得第一图像商品的种类、数量和位置还包括：

对所述二值差分图像进行膨胀腐蚀处理，获得处理差分图像；

所述对所述二值差分图像进行边缘检测，获得轮廓面积包括：

对所述处理差分图像进行边缘检测，获得轮廓面积。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集所有商品中每种商品不同角度和不同距离的商品图像；

标注所述商品图像中每张图像中商品的位置和种类，获得标注信息；

使用所述商品图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述商品图像转换为设定像素的图像，获得转换图像；

所述使用所述商品图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型包括：

使用所述转换图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型。

6.根据权利要求5所述的方法，其特征在于，所述通过训练的目标物体检测模型识别所述第一视频数据包括的商品，获得一图像商品的种类、数量和位置包括：

将所述第一视频数据中的每帧图像转换为所述设定像素的图像，获得设定视频数据；

通过训练的目标物体检测模型识别所述设定视频数据包括的商品，获得第一图像商品的种类、数量和位置。