[发明专利]一种基于注意力机制和度量学习的菜品识别方法

权利要求书

1.一种基于注意力机制和度量学习的菜品识别方法，其特征在于：包括以下步骤：

S1、建立模板特征检索库，经过训练后的度量学习网络模型提取每个类别模板图片的特征向量，存放在特征检索库中；

S2、输入菜品图像，切割出菜品图像中所有单个菜品子图，存放在特征检索库中；

S3、通过度量学习模型提取单个菜品图像的特征向量，与模板特征检索库的所有特征向量进行余弦相似度计算，比较两两特征向量的距离，取其中与输入图像相似度最高的模板类作为当前菜品的类别。

2.根据权利要求1所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述度量学习网络模型包括视觉几何网络Vgg16，并在Vgg16的基础上增加注意力机制和多尺度特征融合。

3.根据权利要求2所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述增加注意力机制和多尺度特征融合是在vgg16的基础上去掉全连接层，然后在第1、2个卷积块后接入通道注意力SE模块，在第3、4、5卷积块的输出后分别接入bn卷积层，将每一层输出空间平均后拼接一起，接入一个全连接层，降维输出最终的1*c维特征向量。

4.根据权利要求1所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述度量学习网络模型的主干网络基本结构为ResNet或者InceptionNet。

5.根据权利要求3或4所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述度量学习网络模型训练过程包括以下步骤：

S1.1、在训练阶段epoch，在训练集的每个类别中随机采样N张图片，每个图片缩放到统一的大小，再进行预处理；

S1.2、每个图片都输入到所述度量学习网络模型，得到对应的1*c维特征向量；

S1.3、所述特征向量组成多个三元组，分别计算锚点anchor和正类positive，锚点anchor和负类negative的余弦相似度，损失函数采用三元损失Triplet loss:

L_Tri＝max(d(x,p)-d(x,n)+margin,0)

其中x指anchor图片的特征向量，p指positive图片和a同类的特征向量，n指negative图片和a不同类的特征向量；d(.,.)指余弦距离，Triplet loss能够优化网络，拉近同一类别的菜品图像之间的类内距离，拉远不同类的菜品图像之间的类间距离；通过超参数margin来调整类间距离和类内距离之间的差值；

S1.4、每个epoch都计算当前更新的度量学习网络模型，保存历次准确度最高的网络模型参数。

6.根据权利要求5所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述测试集和训练集均来自于同一个数据集，训练集和测试集之间的类别label没有重复的类别。

7.根据权利要求6所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述损失函数替换为多重相似损失MS loss或者圆损失Circle loss。

8.根据权利要求6或7所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述预处理包括随机反转、随机旋转。

9.根据权利要求8所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：步骤S2是通过餐具识别算法或目标检测算法切割出菜品图像中所有单个菜品子图。

10.根据权利要求9所述的一种基于注意力机制和度量学习的菜品识别方法，其特征在于：所述特征向量通过字典的形式保存，字典的key关键值为菜品类别名称，字典的val值为数组，保存key对应类别的特征向量：

foods＝{′r:[m₁,....,m_n],....}

其中，foods为字典名；′r为字典key关键值；m₁,....,m_n均为度量学习网络模型根据米饭的模板图片提取的n个特征向量。