[发明专利]一种基于自适应对比学习的菜品识别方法

说明书

本发明涉及一种基于自适应对比学习的菜品识别方法，与传统的菜品识别方法不同，基于自适应对比学习的神经网络，无需在线训练，对推理环境要求较低，本发明提出多尺度三元组损失函数，使得神经网络自适应的学习不同尺度差异的损失，从而更好的区分菜品间的细微差异；所述的多尺度三元组损失函数由包括三种边界的三元组损失函数以及一个最大值选择函数组成，可自适应选择三元组损失的边界值；本发明通过自适应对比学习的方式来实现菜品识别的离线推理，不仅不受菜品种类的约束，能够应对类别的实时变化，离线推理还大大降低了菜品识别应用环境的算力要求；本发明通过在反馈过程中引入低相似度样本自动删除，使得菜品识别方法可以长时间稳定运行。

技术领域

本发明涉及一种用基于自适应对比学习的菜品识别方法。

背景技术

现有的经典菜品识别方法，往往基于神经网络对不同菜品进行分类的方式来实现，这种方式往往需要对神经网络的参数进行重新训练来实现，需要依赖云端或边端有较大的算力以及较长的训练时间。由于需要较长的时间对网络参数进行训练，传统的菜品无法实时新增。传统的基于对比学习的方案往往无视菜品之间的相似程度，使用同一个距离的边界值来计算损失函数，导致特征提取网络预测的特征的可区分性不强。此外，基于对比学习的菜品识别方案在识别的过程中往往会累积错误，导致菜品识别的精度会随着使用时间而变差。

发明内容

本发明的一个目的，就是是解决至少上述问题和/或缺陷中的一种，并提供至少后面讲说明的优点。

本发明还有一个目的，是提供一种基于自适应对比学习的菜品识别方法，其能够通过使用自适应边界的三元组损失函数，来优化特征提取网络预测特征的可区分性，保障菜品识别的高精度。通过引入低相似度样本自动删除的策略，有效缓解了菜品识别推理中错误累计的问题。

为了实现根据本发明的这些目的和其他优点，提供了一种基于自适应对比学习的菜品识别方法，包括：在训练过程中，提出了一种基于自适应对比学习损失函数的特征提取模型的训练方法，对每一个三元组同时计算基于三种不同边界的三元组损失，然后对每一个三元组选择三个损失值中较大的损失值用于反向传播；神经网络参数固定，仅做推理，无需训练更新参数；在推理阶段，为防止错误的积累，在反馈过程中引入低相似度样本自动删除，使得菜品识别方法可以长时间的稳定运行。

所述训练过程的输入包含多个菜品类别，每个类别的图像数量不少于两张。每两张同类别的图像与一张不同类别的图像组成一个三元组。在训练过程中，对每一个三元组同时计算基于多种边界的三元组损失，然后对每一个三元组选择两者间较大的损失值用于反向传播。

优选的是，假设三元组(a,p,n)，其中a和p是同一个菜品类别，而n则属于不同的菜品类别。所述较大边界三元组损失函数为L_B＝max{d(a,p)-d(a,n)+M_B,0}，M_B为较大的边界常数。所述中等边界三元组损失函数为L_I＝g*max{d(a,p)-d(a,n)+M_I,0}，M_I为中等的边界常数。所述较小边界三元组损失函数为L_S＝f*max{d(a,p)-d(a,n)+M_S,0}，M_S为较小的边界常数，其中f、g为常量。所述的自适应对比学习损失函数为L＝max{L_B,L_I,L_S}；

所述推理阶段由三个过程组成：特征提取过程、比对过程以及反馈过程。首先，在特征提取过程，基于训练阶段优化的特征提取模型对输入图像进行特征提取，得到特征M。然后取出特征缓存区缓存的所有特征，基于相似程度与当前特征计算距离，取特征缓存区的所有特征与当前特征的最小距离D对应的特征的类别为识别的结果。随后，若最小距离小于阈值T，则将当前识别的特征保存到特征缓存区中，否则丢弃，完成推理过程。