[发明专利]一种基于多视角特征融合的细粒度图像识别方法

权利要求书

1.一种基于多视角特征融合的细粒度图像识别方法，其特征是：该方法由以下步骤实现：

步骤一、双线性特征提取；

将原始图像输入至双线性特征提取网络，将不同卷积层输出的特征图进行融合，获得双线性特征向量；所述特征提取网络采用在数据集ImageNet预训练的网络结构；

步骤二、抑制分支学习，具体过程为：

步骤二一、根据步骤一所述特征提取网络不同卷积层输出的特征图的大小及阈值生成注意图；

步骤二二、根据步骤二一所述的注意图生成抑制掩码，将所述抑制掩码覆盖到所述原始图像上生成局部区域被掩蔽的抑制图像；

步骤二三、将步骤二所述的抑制图像采用步骤一进行双线性特征提取，获得双线性特征向量，将所述双线性特征向量输入至全连接层，获得预测的类别概率值，并对该预测的类别概率值计算多分类交叉熵；

步骤三、同类对比模块学习；

步骤三一、随机选择与原始图像同一类别下其他N张图像作为正样本图像；

步骤三二、将目标图像与步骤三一所述的正样本图像送入步骤一所述的特征提取网络进行双线性特征向量融合，获得融合特征综合了同类别下多张图像的双线性特征向量；

步骤三三、将步骤三二获得的同类别下多张图像的双线性特征向量求平均，获得一个融合的特征向量，将融合后的特征向量输入全连接层，获得预测的概率，对得到的同类别的预测概率计算多分类交叉熵；

步骤四、中心损失函数L_C计算；

令v_i为第i个样本的双线性特征，c_i为样本i对应类别所有样本的平均特征，即类中心，N为当前批量的样本个数，则中心损失函数L_C的公式如下：

步骤五、模型优化损失函数计算；

将原始图像的双线性特征向量的交叉熵损失函数，抑制图像的双线性特征向量的交叉熵损失函数，融合特征的交叉熵损失函数以及中心损失函数加权求和，获得模型优化的损失函数。

2.根据权利要求1所述的一种基于多视角特征融合的细粒度图像识别方法，其特征在于：步骤二一中，生成注意图的具体过程为：

对特征提取网络中最后一个卷积层输出的特征图的各个通道求平均值p_d，式中，D为特征的通道数，H和W分别为特征图的高度和宽度；按该平均值进行排序，获得熵E的公式为：

通过比较熵和阈值δ的大小构建注意图A：

式中，F_k为按通道排序后的各个通道对应的二维特征图；

步骤二二中，生成抑制掩码的具体过程为：

将步骤二一中的注意图放大至原始图像大小，计算所述注意图的平均值m，设定范围在0～1之间的阈值θ，以m*θ作为阈值，将注意图中大于阈值m*θ的元素设置为0，将其他元素设置为1，获得抑制掩码M：

式中，A(x,y)为注意图A中(x,y)位置的值；

将抑制掩码覆盖到原始图像，获得局部区域被掩蔽的抑制图像I_s(x,y)；

I_s(x,y)＝I(x,y)*M(x,y)

式中，I(x,y)为原始图像中I中(x,y)位置的值。

3.根据权利要求1所述的一种基于多视角特征融合的细粒度图像识别方法，其特征在于：步骤三三中，对同类别下多张图像的双线性特征向量求平均，获得一个融合的特征向量，用下式表示为：

式中，j为特征向量的位置，V(j)为特征向量在第j个位置的值，T为选取的正样本数量；V_r(j)为第r个正样本在在第j个位置的值；

4.根据权利要求1所述的一种基于多视角特征融合的细粒度图像识别方法，其特征在于：步骤五中，原始图像的双线性特征向量的交叉熵损失函数为L_CE1，抑制图像的双线性特征向量的交叉熵损失函数为L_CE2，融合特征的交叉熵损失函数为L_CE3,中心损失函数为L_C，将其进行加权求和，获得模型优化的损失函数L，最终实现细粒度图像识别；用下式表示为：

式中，λ为中心损失函数的权重。