[发明专利]一种训练食品图像分类模型的方法及图像分类方法

说明书

本发明提供一种训练食品图像分类模型的方法及图像分类方法，所述方法包括：分别构建多尺度的食品原材料神经网络以及多尺度的食品类别神经网络，对目标图像进行多尺度划分；对于目标图像的每种类型特征，分别进行多尺度融合，对于融合后的三种类型特征进行融合；将融合后的特征输入到基于融合特征的分类器进行分类。本发明创新性地提出了高级食品语义分布和深度视觉特征的互补性融合，并且进一步将原材料属性信息与高级食品语义分布和深度视觉特征进行融合，解决了食品图像的非刚性结构和几何变形问题，更加有利于食品图像的识别。并且，本发明通过多尺度融合方式，弥补了食品图像不具备空间排列特性的缺陷，最大限度地提高了分类性能。

技术领域

本发明涉及图像识别领域，尤其涉及食品图像分类。

背景技术

食品是人们生活的物质基础，良好的饮食习惯可以预防各种慢性疾病(如肥胖、糖尿病等)。食品图像分类又有着广泛的实际运用，比如智能手环来分析你的饮食营养、智慧餐厅自助结账等。

但是食品图像分类也存在一定的难点：(1)在现实生活中，食品图像包含与食品无关的背景信息；(2)同一类别中的食品图像可能具有明显的差异性，而它们却和不同类别的相似；(3)食品图像没有任何独特的空间形状，也没有独特的外观，会随着烹饪的方法而改变，因此缺乏刚性结构。

为了解决以上问题，有些工作基于Faster-R-CNN提取显著性区域后进行食品图像的分类(参见梅舒欢，闵巍庆,刘林虎等人发表于南京信息工程大学学报(自然科学版),2017(06):73-79的“基于Faster R-CNN的食品图像检索和分类”)。这种方法有效的去除了复杂的背景信息，捕捉到食品主体显著性区域，从而提升分类性能；有些研究工作提出一个能够捕获食物垂直结构的技术框架(参见MartinelN,Foresti G L,Micheloni C发表于IEEEWinter Conference on Applications of Computer Vision，2018的“Wide-SliceResidual Networks for Food Recognition”)。这个框架有效的捕捉到食品图像的各种垂直结构，然后和原始图像做一个特征融合进行食品图像分类，大大的提高了食品图像分类的性能；有些研究工作运用食品图像的原材料信息来进行多任务学习(参见Chen J,Ngo C W发表于Proceedings of the2016ACM on Multimedia Conference.2016:32-41的“Deep-based ingredientrecognition for cooking recipe retrieval”)。他们提出同时使用原材料多标签和类别单标签信息共同学习的方法来提升分类性能。

现有方法大多是通过卷积神经网络(CNN)直接提取深度视觉特征用于食品图像分类，他们忽略了食物图像的特点，因此难以实现最佳性能。另外，现有方法忽略了食品图像也可以看作是细粒度图像，可以借鉴细粒度图像识别的方法，但是食品图像却没有共同的语义部分，因此增加了一定的识别难度。

发明内容

本发明的目的是解决上述现有技术并没有针对食品图像非刚性结构进行研究也没有考虑它的几何变形问题，因此提出了一种基于融合多尺度多视角特征的食品图像分类模型训练方法以及图像分类方法。