[发明专利]一种深度学习的细粒度图像分类方法及装置

说明书

本申请公开了一种深度学习的细粒度图像分类方法，该方法包括：重复如下步骤：通过类间采样器从数据集中随机采样不同类的两张图像，生成图像对，将其输入到骨干网络进行训练；通过类内采样器从数据集中随机采样同类的两张图像，生成图像对，将其输入到骨干网络进行训练；从数据集中随机采样一张图像，将其生成骨干网络进行训练和分类预测；分析如上所述的分类预测结果，采样增强模块指导类间采样器和类内采样器生成图像对；本申请提供的一种基于三阶段深度学习的细粒度图像分类方法及系统，通过各个子模块，混合增强模块得以更好的解决细粒度图像分类任务中类内差异大类间差异小的问题。

技术领域

本发明涉及计算机视觉技术领域，特别地涉及一种深度学习的细粒度图像分类方法及装置。

背景技术

在计算机视觉领域中，细粒度图像分类一直是一个研究的热点和难点，因为细粒度图像分类的主要目的是区分一个大类下的多个子类别，而这些子类别图像中的对象往往具有较小的类间特征差异，并且在类内的对象姿势、背景和拍摄角度等方面存在很大的区别。早期的细粒度图像识别方法往往需要针对训练数据做大量的人工标注，如人工标记的关键区域框，人工标注的对象边界框等。获得这些额外的人工信息需要大量的人力物力，花费大量的时间和金钱，且网络的复杂度较大，训练时间较长。随着相关技术的发展，如Resnet等能力强大的骨干网络模型和ImageNet等包含大量数据的预训练数据集的出现使图像分类技术更上一层楼，细粒度图像分类的研究重点也逐渐转向只使用图片标签信息的弱监督情况。并且由于收集细粒度标签通常需要专家级的领域知识，人工标注需要大量的时间和费用，只使用图像标签的弱监督细粒度图像分类逐渐成为当前研究的主要方向。研究人员提出了许多如双线性CNN等的骨干网络模型，只需图片和相应的标签输入便可进行训练得到很好的分类性能。

目前细粒度图像识别的研究主要集中在针对网络结构做优化，没有关注训练方式的方向。当前的细粒度图像分类方法基本不在训练方式上做创新，训练网络时只是在数据集中随机选取一张图像输入网络进行训练，这种训练方式没有突出图像的类别，对于一般的机器学习问题这种训练方式不会对性能有较大的影响，但是细粒度图像分类问题存在类内差异大类间差异小的特点，会导致相近的类别混淆在一起，难以区分，这种简单的训练方式就会影响最终的分类性能，且只输入一张图像使得网络无法通过对比突出共有特征和区分特征。

发明内容

为了解决上述所提及的细粒度图像分类中类内差异大类间差异小以及随机抽取图像进行简单的混合叠加不能够很好的解决相近类别混淆的问题，本发明提出了一种混合增强的细粒度图像分类方法以及装置。

该方法包括：

重复如下步骤：

类间图像训练：通过类间采样器从数据集中随机采样不同类的两张图像，生成图像对，将其输入到骨干网络进行训练，获得第一预测结果；

类内图像训练：通过类内采样器从数据集中随机采样同类的两张图像，生成图像对，将其输入到骨干网络进行训练，获得第二预测结果；

单一图像训练：从数据集中随机采样一张图像，将其生成骨干网络进行训练和分类预测，获得第三预测结果；

分析和指导：分析第三预测结果，根据分析结果指导类间采样器和类内采样器生成图像对。

如上所述的深度学习的细粒度图像分类方法，其中，优选的是，在将类间图像训练和类内图像训练中的图像对输入到骨干网络进行训练之前，还包括将图像对输入到混合模块，同时混合两张图像及其标签，得到混合增强样本，进而将该混合增强样本输入骨干网络。

如上所述的深度学习的细粒度图像分类方法，其中，优选的是，类间图像对的混合增强样本通过如下公式获得：

，