[发明专利]一种基于级联增强网络的图片细粒度分类方法

权利要求书

1.一种基于级联增强网络的图片细粒度分类方法，其特征在于：该方法具体包括以下步骤：

步骤1、构建网络级联结构；

构建级联了子网络SEME-ResNet50和SEME-DenseNet169的Cascade-SEMEnet网络结构；

步骤2、处理与增强数据；

2.1、对待训练的数据进行预处理，让图像中不同物体的分界线更清晰，并且减少数据的噪声对神经网络的影响；

2.2、利用MoEx结构提高网络的特征提取能力；MoEx结构存在于两个子网络的第一层卷积层，混合了一个实例的标准化特征与另一个实例的特征矩阵，在子网络推理过程中对图像特征进行增强；归一化函数为F，为l层第i个输入x_i的特征，经过归一化函数处理后，得到三个输出值：标准化特征一阶矩μi，二阶矩σ_i：

向网络输入两个不同种类的样本x_A、x_B,归一化函数将l层的输入x_A的特征分解成三部分，即将μ_A、σ_A，同样将x_B分成μ_B、σ_B；MoEx结构将样本x_B的特征混合到样本x_A的特征中：

为样本x_A混合了样本x_B的特征之后的特征图；

为了激励神经网络关注样本x_B，MoEx结构修改损失函数来预测类标签y_A和y_B，设混合常数λ∈[0,1]；损失函数Loss(λ)为:

CE为交叉熵函数；

步骤3、提升网络结构；

3.1、在两个子网络的所有融合层之间添加Squeeze-Excitation即SE结构，包括Squeeze和Excitation两个操作；把SE模块的输出向量与输入的特征图向量相乘，改变网络对不同通道的注意程度；

3.2、在网络卷积层的最后一层加入GAP层，使输入图像的细节变得更加丰富、子网络拥有更大的感受野；

步骤4、图片分类

利用改进后的SEME-ResNet50网络对图片进行初步分类，筛选出某一大类的图片；再利用改进后的SEME-DenseNet169网络对这一大类图片进行细粒度分类，以分类出小类图片；

步骤5、区域学习

使用预先分割好的、只含有目标区域的图像即Target Region，TR和原图像叠加在一个批次中，来引导网络学习到正确的信息；设TR为X_T,原图像为X_O,这两个图像叠加输入网络后，网络输出为(O_T,O_O)＝F(X_T,X_O)，其中其中O_T,O_O分别是X_T，X_O的输出，则损失值可以表示为：Loss＝L_T+L_O＝CE(O_T,Label)+CE(O_O,Label)，其中L_T，L_O为O_T,O_O的损失值，Label为真实标签；

设输出图像O的形状为(N,C)，N为样本数，对于每个样本，都有C个类别；设类别i的输出数值为Ci，若Ci0.5，则Ci＝1，否则Ci＝0，这样O就变为了一个由0、1组成的，大小为(N,C)的矩阵；规定O_T,O_O的差异D＝SUM(O_T＝＝O_O)/N*C；

(1)当训练过程中，SEME-DenseNet169网络的判断依据为X_T中的特征时，由于注意内容相同，D0.7，由于Label相同，参数的反向梯度正常更新；

(2)当训练过程中，SEME-DenseNet169网络的判断依据为X_T之外的特征，且X_O分类错误时，Loss会因同时受到L_T和L_O的影响正常更新；

(3)当训练过程中，SEME-DenseNet169网络的判断依据为X_T之外的特征，且X_O分类正确时，D＜＜0.7，此时网络在反向梯度更新参数时，会更加注重提取X_T和X_O共有的区域的特征；

步骤6、可视化输出结果

通过Grad-CAM得到特征图的加权系数；将这些特征图按照加权系数相加，得到一个与特征图大小一致的热力图；然后采用插值的方法进行上采样，得到一个与原图一样大小的热力图。