[发明专利]一种带有并行卷积块的多层特征融合细粒度图像分类方法

说明书

本发明公开了一种带有并行卷积块的多层特征融合细粒度图像分类方法，所述方法包括：对训练集进行随机裁剪、水平翻转增强，使用权重迁移学习防止过拟合；在ResNet34模型的最后一个层级上通过并行卷积块代替原有卷积块，增强网络的显著性特征提取能力；使用改进后的ResNet34模型作为特征提取器，将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层和softmax进行分类训练，对训练集上每个batch_size得到的损失函数进行回传，使用随机梯度下降作为网络优化器来更新网络参数。本发明提高了细粒度图像的分类准确率。

技术领域

本发明涉及图像分类任务中的细粒度图像分类领域，尤其涉及一种带有并行卷积块的多层特征融合细粒度图像分类方法。

背景技术

细粒度图像分类是对某一类别下的图像子类进行精确划分。细粒度图像分类以其“类间差异小，类内差异大”等特点，一直是计算机视觉和模式识别领域的研究难点，具有重要的研究价值。

鉴于传统方法对细粒度图像分类准确率低，模型泛化能力差；基于强监督方法需要标注框等人工信息，难以应用到实际生产中。弱监督方法为该领域的主流方法，可以分为：基于双线性池化等网络结构的调整来增强层间特征信息的交互能力；以及基于注意力机制的分类方法用于提取显著性区域；还有基于局部特征定位的方法来捕捉具有判别性的局部特征信息。

细粒度图像分类的难点在于：训练样本的分类数目较多，但每个类别下的样本数目太少，容易导致过拟合；网络模型复杂，参数量较多，对计算机要求较高；同一类别下的样本受光照，姿态等影响差异较大，使得网络难以学习到判别性特征。目前，细粒度图像分类的问题主要体现在三个方面：

1)如何增强网络层间的信息交互；

2)如何使网络精确地提取显著性区域特征；

3)如何有效防止过拟合现象。

发明内容

本发明提出了一种带有并行卷积块的多层特征融合细粒度图像分类方法，本发明提高了细粒度图像的分类准确率，详见下文描述：

一种带有并行卷积块的多层特征融合细粒度图像分类方法，所述方法包括：

对训练集进行随机裁剪、水平翻转增强，使用权重迁移学习防止过拟合；

在ResNet34模型的最后一个层级上通过并行卷积块代替原有卷积块，增强网络的显著性特征提取能力；

使用改进后的ResNet34模型作为特征提取器，将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层和softmax进行分类训练，对训练集上每个batch_size得到的损失函数进行回传，使用随机梯度下降作为网络优化器来更新网络参数。

其中，所述并行卷积块用于对中间层的判别性特征进行提取，具体为：

对输入的特征矩阵使用不同大小的卷积核，增强输出矩阵的特征表达能力；

将步长为2，1×1大小卷积核的残差结构改为3×3大小卷积核，防止部分特征信息的丢失；

将原始3×3大小的卷积核改为1×3和3×1卷积核的串联模式，减少计算量。

将激活函数ReLU改为LeakyReLU，可以有效防止梯度消失。

进一步地，所述将最后一层级的三个输出结果进行双线性矩阵乘法后送入全连接层具体为：

对并行卷积块得到三个输出特征矩阵，两两双线性操作得到三个特征融合的结果，将三个结果求和，送入全连接层中。

其中，所述对并行卷积块得到三个输出特征矩阵，两两双线性操作得到三个特征融合的结果具体为：