[发明专利]一种基于时序重排序的生鲜识别方法

说明书

本发明涉及一种基于时序重排序的生鲜识别方法，在传统的生鲜识别方法的基础上，在训练与推理的过程中设置并维护一个时间戳缓存区，用于记录过去的识别序列中每一个样本的正确类别与时间戳。除了进行图像特征提取外，我们额外从时间戳缓存区查询所有类别的最近出现时间以及最近出现频率，以获得所有类别额外的时序特征。我们拼接图像特征和时序特征，并通过时序重排序网络进行所有类别置信度的重新预测，使得生鲜识别算法可以学习同商品的不同编码之间变化的特征，应对现实应用中商品编码的即时变化，有效提高生鲜识别模型的识别率。

技术领域

本发明涉及一种基于时序重排序的生鲜识别方法。

背景技术

近年来，随着神经网络技术的不断发展，生鲜识别技术已被广泛用于各门店的生鲜商品的自助称重与识别中。然而，由于超市的同品类商品(比如苹果)由于不同进货地或不通品质导致可能有多个商品编码，而每天售卖的苹果编码均可能不同。当前的生鲜识别方法大多仅基于图像分类，难以克服生鲜识别中同类别编码周期性变化的问题，导致同类别不同编码的商品识别精度低。

发明内容

本发明针对现有技术的上述问题，提供了一种基于时序重排序的在线生鲜识别方法，可以快速适应商品编码的变化，有效提高生鲜识别的精度。

本发明的一个目的，是提供一种基于时序重排序的生鲜识别方法，其能够使用时序重排序的方法，能够准确预测出上千种生鲜产品的置信度，辅助超市收银人员快速确定生鲜的种类。通过在时序重排序策略，能够提高模型对商品编码变化的适应能力，有效提升生鲜识别模型在商超生鲜识别场景下的识别率。

为了实现根据本发明的这些目的和其他优点，提供了一种基于时序重排序的生鲜识别方法，包括：建立并维护一个固定尺寸的类别时间戳缓存数组，用于在识别的过程中记录识别的商品数据流所属于的类别以及每一个商品识别的时间戳。与传统的生鲜识别不同，基于时序重排序的生鲜识别方法的训练和测试过程均基于识别数据流。我们设计的基于时序重排序的生鲜识别模型能够让生鲜识别算法更好地适应数据流中同一商品编码的变化，并与此同时感知不同商品的售卖频率，进一步提高识别率。

所述训练过程中训练损失函数为交叉熵损失函数，我们基于Adam优化器以及所述的总损失值来计算神经网络所有的参数梯度，并相应的对网络参数进行优化，以得到

基于优化后的神经网络，在测试时仍然按照训练时数据流的识别逻辑，对每一个生鲜输入图像张量以及时间戳，得到的识别结果为预测的每一个生鲜类别的置信度，置信度最高的若干个类别为预测的生鲜类别，完成生鲜识别。

优选的是，其中输入图像为识别序列S中的任意一张图像I，首先经过特征提取网络N得到图像特征M，同时，从时间戳缓存中读取每一个类别j的识别时间戳缓存C,经过统计得到每个类别的最近出现时间R和最近出现频率E，进而得到时序特征T。通过合并图像特征向量M和时序特征向量T，我们将合并的特征输入到时序重排序网络O。网络O的输出为对图片I的预测结果Y。若为推理模式，我们将预测结果Y返回给收银员，由收银员基于预测结果Y判断预测结果是否包含正确类别，并反馈一个正确类别F。若为训练模式，我们基于预测结果Y和反馈结果F计算损失函数L，通过计算梯度来对网络的参数进行优化。随后，我们将时间戳ti存入时间戳缓存区C。

所属特征提取网络N为常见的图像识别网络，例如MobileNetV2、ResNet18等。

所述识别时间戳缓存区C的尺寸为K。其中，K为类别的最大缓存数量。当缓存区存满后，会自动剔除最远时间戳对应的类别。所述最近出现时间Rj为C中每一个类别的最近出现时间，所述最近出现频率Ej对应为C中每一个类别的出现频率。

所述时序重排序网络O由多个全连阶层连接而成。O的输出预测结果Y＝P_j,0＝jJ。其中，Pj为每一个类别j的识别置信度。

所述损失函数L默认为交叉熵损失函数，通过基于损失L计算梯度来对特征提取网络N以及时序重排序网络O的参数进行优化。