[发明专利]一种基于注意力机制和度量学习的菜品识别方法

说明书

本发明提供了一种基于注意力机制和度量学习的菜品识别方法，包括以下步骤：S1、建立模板特征检索库，经过训练后的度量学习网络模型提取每个类别模板图片的特征向量；S2、输入单个菜品图像，切割出菜品图像中所有单个菜品子图，存放在特征检索库中；S3、通过度量学习模型提取单个菜品图像的特征向量，与模板特征检索库的所有特征向量进行余弦相似度计算，比较两两特征向量的距离，取其中与输入图像相似度最高的模板类作为当前菜品的类别。采用度量学习的框架，使网络能够开放式的识别新菜品，只需要事先在模板特征库中增加新菜品类别模板图片的特征，就能够识别新菜品，而不需要增加训练来微调网络模型，减少操作。

技术领域

本发明涉及图像处理与分析技术领域，具体地说，涉及一种基于注意力机制和度量学习的菜品识别方法。

背景技术

随着社会的快速发展，为了方便快捷，现有的餐厅很多都采用自主挑选菜品，排队进行结账的方式。结账分为人工计价和自动计价。随着人员增加，在一些大型场所如医院，学校等地，使用人工计价效率低，时间长了会出错。随着人工智能的发展，也越来越多的食堂采用自动计价的方法。

一种是基于餐具检测的方法进行计价，如给每个餐具定制检测磁条或内嵌芯片，每次结算时，机器会自动识别磁条和芯片信息来获得菜品价格来结算，缺点是每个餐具的成本较高，会存在磁条消磁或芯片损失问题。如采用机器视觉的方法对餐具进行识别，根据不同餐具对应的价格来结算。缺点是需要对餐具进行定制不同的形状，不能很好的兼容已有的餐具。

二是基于计算机视觉的方法直接检测菜品进行计价。一种是直接采用目标检测网络方法对图片中的待识别菜品目标进行检测和识别。缺点是这种方法通用性差，扩展性弱。一旦有新的菜品类别加入，网络模型需要重新训练，训练过程麻烦，操作复杂。另一种是将定位和识别分别处理，使用目标检测网络对图片待识别菜品进行定位，但不进行分类。目标检测网络会分割出若干个菜品子图送到分类网络，然后使用分类网络对菜品子图分类，根据菜品类别进行计价结算(Jiang,S.,Weiqing Min,Linhu Liu and Zhengdong Luo.“Multi-Scale Multi-View Deep Feature Aggregation for Food Recognition.”2020.)，该方法缺点是一旦有新的菜品加入，分类网络仍然要重新训练。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于基于注意力机制的度量学习菜品识别方法；该方法不会受到餐具形状的限制，还解决了目标检测和分类方法只能识别固定菜品类别的问题，能够随意增加新类别而不用重新训练模型；增加的注意力机制模块能够使网络更加关注于对于分类有用的特征；多尺度特征融合能够得到富有语义和浅层问题的特征，提高识别准确度。

本发明至少通过如下技术方案之一实现。

一种基于注意力机制和度量学习的菜品识别方法，包括以下步骤：

S1、建立模板特征检索库，经过训练后的度量学习网络模型提取每个类别模板图片的特征向量，存放在特征检索库中；

S2、输入菜品图像，切割出菜品图像中所有单个菜品子图，存放在特征检索库中；

S3、通过度量学习模型提取单个菜品图像的特征向量，与模板特征检索库的所有特征向量进行余弦相似度计算，比较两两特征向量的距离，取其中与输入图像相似度最高的模板类作为当前菜品的类别。

优选的，所述度量学习网络模型包括视觉几何网络Vgg16，并在Vgg16的基础上增加注意力机制和多尺度特征融合。

优选的，所述增加注意力机制和多尺度特征融合是在vgg16的基础上去掉全连接层，然后在第1、2个卷积块后接入通道注意力SE模块，在第3、4、5卷积块的输出后分别接入bn卷积层，将每一层输出空间平均后拼接一起，接入一个全连接层，降维输出最终的1*c维特征向量。