[发明专利]冰柜商品图像识别训练方法、识别方法及占有率计算方法

权利要求书

1.一种冰柜商品图像识别训练方法，用于对冰柜内的冷饮商品进行识别，其特征在于，包括以下步骤：

S10：获取包含有多个所述冷饮商品的冰柜商品图像，输入第一神经网络模型，所述第一神经网络模型对清晰的所述冷饮商品进行标注，得到标注的多个多边形边框；

S20：对所述多边形边框进行解析，得到所述冷饮商品在多个特征层上的映射、初始训练图像及相应的mask标签；

S30：将所述初始训练图像输入初始神经网络模型，得到与所述mask标签格式相同的冷饮商品图像数据；

S40：将所述冷饮商品图像数据、mask标签数据代入损失函数计算，并通过反向传播算法将所述损失函数计算得到的损失回传，更新所述初始神经网络模型的参数；

S50：反复执行所述S40步骤，最终得到训练好的参数矩阵，将所述参数矩阵输入所述初始神经网络模型中，得到训练好的第二神经网络模型；

所述第一神经网络模型中，按照清晰的冰激凌、不清晰的冰激凌、广告纸、冰激凌以外的商品四个标注类别进行训练，形成冰柜商品的类别信息，对清晰的冰激凌进行标注后得到所述多边形边框；

所述S40步骤中，所述损失函数包括：

，

，

，

，

，

其中，L_obj表示所述冷饮商品的目标损失，L_off表示中心点坐标偏移量的损失，L_poly表示所述多边形边框的边界点坐标相对于中心点的损失，L_cls表示所述冷饮商品的分类损失，L_loss表示总的损失；

λ_obj、λ_nobj、λ_off、λ_poly、λ_class分别表示对应损失的权重系数，S表示特征图的边长，P表示所述多边形边框上的20个坐标点，表示特征图上第i个网格是否存在目标，表示特征图上第i个网格是否不存在目标；

c_i、分别表示特征图第i个网格目标的真实值和预测值，x_i、y_i、、分别表示第 i网格中目标对于网格左上角的实际偏移量与预测偏移量在x，y方向上的数值；smooth_l1表示回归损失函数，x_i,j、y_i,j、、分别表示实际与预测的20个物体边界点坐标相对于网格左上角的实际偏移量与预测偏移量在x，y方向上的数值，i表示在S*S个网格中的第i个网格，j表示在第i个网格中的第j个坐标，B表示所述冰柜商品的类别数量，d表示所述冷饮商品的类别， 表示所述冷饮商品属于第d个类别的信息熵。

2.根据权利要求1所述的冰柜商品图像识别训练方法，其特征在于，所述S10步骤中，所述多边形边框为20个点依次均匀连接形成的封闭区域。

3.根据权利要求1所述的冰柜商品图像识别训练方法，其特征在于，所述S20步骤中，所述特征层的数量为三个，三个所述特征层的尺寸分别为19*19像素、38*38像素、76*76像素。

4.根据权利要求1所述的冰柜商品图像识别训练方法，其特征在于，所述S20步骤中，所述映射的参数为所述冷饮商品的置信度，以及所述多边形边框上每个点的x偏移量、y偏移量；所述x偏移量、y偏移量分别为每个点的x坐标、y坐标相对于网格左上角的偏移量，所述网格为每个点在所述特征层上位置的对应网格。