[发明专利]一种结合多感受野注意与特征再校准的菜品识别方法

说明书

本发明提供一种结合多感受野注意与特征再校准的菜品识别方法，包括：提取出特征金字塔的特征谱；对特征谱进行两种不同尺度的卷积，得到两个不同感受野的特征谱；对两个不同感受野的特征谱进行相加再卷积得到融合感受野的特征谱；对融合感受野的特征谱进行softmax操作获得融合感受野的权重谱；将获得的融合感受野的权重谱与两个不同感受野特征谱相乘，得到两个不同的注意力谱；对融合感受野的特征谱通过可变形卷积进行特征校准，得到融合感受野的特征校准谱；特征金字塔的特征谱、不同注意力谱、特征校准谱都对相应的元素相加起来就得到的特征谱来进行菜品识别。处理后的特征谱能增加菜品的细节信息并让有效特征都分布在菜品位置上，能提升识别准确率。

技术领域

本发明涉及菜品图像识别技术。

背景技术

随着国家经济的发展，人们对饮食产生越来越多的关注，现在的人们不仅要求饮食健康美味，还要求辨认出餐厅中菜品的优劣，一些现代智能餐厅也要求结算时直接用机器识别菜品并结算，这样就能极大的提高餐厅效率。还有一些诸如重度视障患者等特殊人群需要一个能够指引自己就餐的智能眼镜，而这些需求的背后都需要以菜品识别技术为核心进行支撑。

具体到菜品图像识别领域，尤其是在种类和样式都十分丰富的中餐菜品识别领域，由于不同菜品之间的原材料、烹饪方式、以及厨师水平不同等因素，导致一些菜品外形相似度较高，而传统的基于图像特征手工提取方法由于表达能力的不足，训练中无法全面学习到不同菜品之间的特征，导致传统的图像识别技术难以识别相似菜品。而以卷积神经网络为核心的深度学习算法的蓬勃发展，为解决菜品图像识别问题提供一种新思路。

目前，基于深度学习的图像识别网络模型已经应用到了菜品图像识别领域，这类神经网络模型应用于菜品识别的方法主要有两类：一类是先利用目标检测算法检测出图像中是否有菜品，若有菜品则将菜品区域裁剪出来送入图像分类模型识别出菜品；另一类是利用目标检测算法如faster-rcnn、SSD、yolo等直接将菜品图像进行检测识别。这两种方法中第一种需要检测和分类两个模型分成两步进行串行计算，因而对设备的运行内存和运行时间要求较高，在实际应用中往往达不到人们的实时性要求。而第二种方法虽然运行速度比第一种方法快，但是网络模型是应用于通用目标的检测方面，通用目标之间的差异性较大，因而识别准确度较高。而不同菜品之间相似度较高，同种菜品之间由于颜色、烧制火候等不同导致类内差异大，故通用目标检测应用于菜品识别准确度不高。这就要求通用目标检测网络需要根据菜品图像的实际情况进行改进才能提高菜品的识别准确率，才能成功应用于菜品识别领域。

发明内容

本发明所要解决的技术问题是，针对现有的基于通用目标检测器应用于菜品识别时没有考虑到不同菜品的类间相似性以及类内差异性，提出了一种在通用目标检测网络的基础上增加多感受野注意以及特征再校准网络，从而提高菜品的识别准确率的方法。

本发明为解决上述技术问题所采用的技术方案是，一种结合多感受野注意与特征再校准的菜品识别方法，包括下列步骤：

第1步、提取出菜品特征金字塔的每个特征谱；

第2步、分别对每个特征谱进行两种不同尺度的卷积，得到两个不同感受野的特征谱；

第3步、对两个不同感受野的特征谱进行相加，对相加后的特征进行卷积得到融合感受野的特征谱；

第4步、对融合感受野的特征谱进行softmax操作，获得融合感受野的权重谱；

第5步、将获得的融合感受野的权重谱与第2步产生的两个不同感受野特征谱相乘，得到两个不同的注意力谱；

第6步、对第3步中得到的融合感受野的特征谱通过可变形卷积进行特征校准，得到融合感受野的特征校准谱；

第7步、将第1步中的特征谱、第5步中的两个不同注意力谱、第6步中的特征校准谱都对相应的元素相加起来就得到最终将要进行检测和分类的特征谱；