[发明专利]一种基于自适应对比学习的菜品识别方法

权利要求书

1.一种基于自适应对比学习的菜品识别方法，其特征在于包括：

A)训练步骤，包括从训练集中随机选择32个不同的菜品类别，然后从每个菜品类别中随机取8张图片，共256张图片进行数据增强，包括：

A1)对所选的256张图片以Q1的概率做水平翻转得到随机水平翻转后的256张图片；

A2)对步骤A1)中得到的256张图片以Q2的概率做竖直翻转得到随机竖直翻转后的256张图片；

A3)对步骤A2)中得到的256张图片按顺序以Q3的概率增加随机的对比度噪声、饱和度噪声和亮度噪声，得到随机增加随机噪声的256张图片；

A4)图像重采样和像素值归一化，包括将步骤A3)中得到的256张图片均重采样，得到宽高均为224个像素的256张图片，将每张图片的像素值归一化处理为0和1之间；

A5)将上述重采样和像素值归一化处理后的256张图片输入到特征提取网络中，该特征提取网络可以是任意的可用于图像分类的神经网络，本发明以ResNet18、ResNet50为例，得到尺寸为(256,V)的特征向量,V可以是任意长度，本发明以常见的1000为例；

A6)根据256张图片的菜品ID找出这256张图片中存在的所有的三元组(a,p,n)，其中a为基于模版图片提取的特征，p为基于任意一张与a同菜品类别的输入图片提取的特征，n为基于任意一张与a不同菜品类别的输入图片提取的特征，计算每个三元组的多尺度三元组损失L_B＝max{d(a,p)-d(a,n)+M_B,0}、中等边界三元组损失L_I＝g*max{d(a,p)-d(a,n)+M_I,0}、以及较小边界三元组损失L_S＝f*max{d(a,p)-d(a,n)+M_S,0}，其中g、f为常量，d(x,y)为x与y的欧式距离，下标B、I、S分别代表较大边界、中等边界、较小边界，然后对每一个三元组(a,p,n)，保留L＝max{L_B,L_I,L_S}为最终损失；

A7)基于AdamW优化器以及最终损失来计算神经网络参数的梯度，对模型的参数进行优化，

B)菜品识别步骤，包括：

B1)将一张未知菜品图像经过重采样和像素值归一化处理，得到尺寸为(1,3,224,224)的图像张量P，输入基于自适应对比学习优化的神经网络中，经过神经网络计算后得到一个尺寸为(1,1000)的特征向量M；

B2)若该菜品类别的菜品第一次出现或特征缓存区中为空，则认为是新菜品类别，不做识别且将特征向量及新类别加入特征库，否则，计算M与特征缓存区内所有特征的欧式距离，取最小值D对应的菜品类别为最终识别结果；

步骤三，执行低相似度样本自动删除策略，若最小距离D小于预设的阈值T，则将当前识别的特征及识别结果保存到特征缓存区中，否则丢弃，完成识别过程。

2.如权利要求1所述的基于自适应对比学习的菜品识别方法，其特征在于：

所述预设的阈值优选0.1。

3.如权利要求1或2所述的基于自适应对比学习的菜品识别方法，其特征在于：

常量g和f分别优选2和4。