[发明专利]训练与推理数据分布不一致条件下的图像细粒度识别方法

说明书

训练和推理数据分布不一致条件下的图像细粒度识别方法，建立了检测‑细粒度模型，检测模块提取特征并对类别、位置和置信度回归。获取感兴趣区域位置并粘贴到WxH黑色背景后，传入特征融合的细粒度模块，利用多尺度双线性特征对子类进行细粒度识别。在提出的Cigarette67‑2018训练，且细粒度模块在特定数据集Cigarette67‑2018，较之前双线性模型B‑CNN基线有显著提高。在单核CPU上推理速度可以满足实时性要求且本发明中的细粒度识别模块为弱监督算法，仅仅需要图像级标注信息，这使本发明易于操作，实用价值高。

技术领域

本发明属于计算机视觉与人工智能、多媒体信号处理领域，特别是涉及训练与推理数据分布不一致条件下的图像细粒度识别方法。

背景技术

随着深度卷积神经网络的不断发展，深度学习等技术将计算机视觉中的检测、分割、追踪、分类等任务的精度和推理效率不断提高，这主要是得益于卷积神经神经网络强大的非线性建模能力、海量的数据量以及算力的提高。而这也使得图像细粒度识别这一计算机视觉任务带来了巨大的发展。图像的细粒度识别是相对于粗粒度识别而言，一般来说，图像的粗粒度识别是指完成具有较大差别类的识别，诸如人、椅子等不同种类的分类(如ImageNet数据集，MINIST数据集)；而细粒度识别的任务是要识别大类中的子类，比如CUB200-2011数据集中的200种鸟类识别，Cigarette67-2018数据集中的67种不同品牌的香烟识别(Cigarette67_2018是本发明作者实验室整理提出的香烟品牌细粒度识别数据集)。因此细粒度识别任务具有类间方差小，类内偏差大的特点，这与图像粗粒度识别相比，子类容易混淆，图像识别难度增大，但是图像细粒度识别在实际生产中具有较大的应用价值，如新零售中货架商品识别、O2O中子类商品的搜索细分等。

对图像细粒度识别而言，一般要求训练和推理数据的分布具有一致性，即训练数据和测试数据满足同样的概率分布，这是深度学习任务取得较好效果的一个必要要求。然而在实际生产过程中，实际测试环境下的推理数据可能不太容易获取满足深度学习所要求的数据量，比如在某个香烟品牌识别任务中实际测试环境下的图片如图1所示，一幅图中含有大量的目标子类，而且这种测试环境下的数据不容易获取较大的数据量。

发明内容

针对训练数据和推理数据分布不一致的场景进行图像细粒度识别问题研究具有重要意义。常见的数据分布不一致体现在训练数据是单目标单一角度，背景单一简单，而测试样本是多目标多角度，背景复杂，干扰因素较大问题，本发明提供一种训练与推理数据分布不一致条件下的图像细粒度识别方法，建立了针对此问题的两阶段模型，分别是检测模块与细粒度模块，检测负责检测出大类目标位置，细粒度模块在其基础进行子类的细粒度识别。检测模块直接进行物体类别、坐标位置以及置信度的回归，细粒度模块基于多尺度特征融合的双线性特征进行细粒度识别和分类，为达此目的，本发明提供训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：将数据增广后的批量图片利用检测-细粒度识别两阶段模型进行图像细粒度识别，检测模块负责检测出大类目标位置，经感兴趣区域和粘贴模块后，再由细粒度识别模块识别出图像中目标子类，方法包括如下步骤：

(1)将输入图片进行数据增广；

(2)将处理好的图片送入检测模块，检测出目标大类位置信息；

(3)将上步得到的位置信息送入感兴趣区域和粘贴模块，得到统一背景下的目标图片；

(4)将上步得到的批量图片送入细粒度识别模块，得到图像细粒度识别结果。

作为本发明进一步改进，所述步骤(1)中对图像进行数据增广，具体步骤为：

步骤2.1：将输入图片使用离线旋转和在线旋转来增强，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，同时也使用亮度增强和随机裁剪方式进行数据增强。