[发明专利]基于特征金字塔与全局平均池化的细粒度图像分类方法

说明书

本发明公开了一种基于特征金字塔与全局平均池化的细粒度图像分类方法，包括以下步骤：步骤1、图像输入预训练的卷积神经网络的卷积层得到多通道的特征图；步骤2、所述多通道的特征图经过全局平均池化层，得到输入图像的显著图，提取目标的位置信息；步骤3、特征金字塔网络提取多通道的特征图的特征并进行预测得到信息量最大的K个局部区域；步骤4、聚合所述K个局部区域的局部特征和输入图像经过所述卷积神经网络得到的全局特征预测输出最终的识别类别。本发明方法减少背景噪声影响，增强局部区域选择鲁棒性，提高识别精度。

技术领域

本发明涉及一种细粒度图像分类方法，特别是涉及一种基于特征金字塔与全局平均池化的细粒度图像分类方法。

背景技术

细粒度图像识别是图像处理领域的概念，传统的图像识别一般只能识别出图像中的目标所属的大类别，称为粗粒度的图像识别。而同一大类下通常具有许多的子类别，传统的图像识别方法并不能确定目标所属的具体子类别。细粒度图像识别可以对图像中的目标进行更加细化的分类，其分类的粒度更细，要求能确定出目标在所属大类别下的具体子类别，以满足不同场景下的更高的图像识别要求。

早期的细粒度分类方法一般依赖于人工经验来手工提取特征，通常分为两步:先从图像中提取SIFT特征或者HOG等局部特征，利用VLAD或者Fisher Vector等编码模型对特征进行编码，得到所需要的特征表示，然后利用浅层神经网络或SVM等分类器对特征进行分类。但模型的泛化性较差。

基于深度学习的细粒度图像分类方法可以分为强监督和弱监督的方法两大类，二者的区别在于是否使用了包围盒或局部区域标注等人工标注信息。该类方法通常分为三个步骤：首先，使用图像的标注信息或视觉注意力等方法得到图像中的前景对象和多个局部区域，然后利用深度卷积网络分别提取卷积特征，最后将所有局部区域的特征综合起来对目标进行分类。强监督的分类方法由于人工标注信息的获取代价昂贵，使得该类方法的实用性较差，难以满足实际的应用需求。

现有细粒度识别方法大多是基于弱监督条件下的工作即不依赖人工标注信息，但在弱监督条件下准确获取图像中的对象及定位区分性局部区域变得困难。在现实场景中，目标不一定位于场景中间的位置，周围的环境可能会对目标造成遮挡、或与目标颜色相似造成干扰，或由于拍摄角度不同、目标对象的姿态的变化等，导致同一类别的图像视觉差异较大。具体存在以下两方面问题：

1、选择的局部区域背景噪声较多。图像中的目标一般处于较为复杂的环境中，比如在鸟类识别任务中，目标鸟类一般位于树枝中间，遮挡比较严重，或者树叶树干等与该目标的外观颜色较为相似，极易造成较强的干扰。现有的方法大多直接将整幅图像输入模型并提取特征，但是通过可视化实验发现，该类方法得到的局部区域一般具有较多的背景噪声，这些噪声区域提取的特征不属于目标特征，往往会对分类过程结果造成一定的影响，导致模型的细粒度图像识别效果下降。也有部分方法利用无监督的方式，比如selectivesearch方法从原始图像中提取几个较有区分性的区域，然后送入网络模型中训练并提取特征，这类通用目标获取方法对细粒度图像识别任务的目标获取不具有针对性，其提取的目标区域噪声有所减少，但仍不能满足要求，并且由于前期的计算开销较大，无监督方式生成的图像区域过多，从而导致训练时间较长，也达不到理想的识别效果。