[发明专利]基于集成学习策略的图像细粒度识别方法

权利要求书

1.基于集成学习策略的图像细粒度识别方法，其特征在于，使用多流网络提取细粒度图像特征，计算交叉双线性特征，分别构造基分类器，采用多数投票法和加权投票法等策略去集成各基分类器，以此来预测图像细粒度类别，该方法包括如下步骤：

(1)对输入图像进行数据增广；

(2)利用多流基础网络提取图像特征，计算交叉双线性特征；

(3)利用多数投票法和加权投票法等集成策略构造若干基分类器，使用最终的结果预测细粒度类别。

2.根据权利要求1所述的基于集成学习策略的图像细粒度识别方法，其特征在于：所述步骤(1)中对图像进行增广，具体步骤为：

步骤2.1：使用离线旋转和在线旋转来增强数据，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，除此外，还使用了亮度增强，随机裁剪方式进行数据增强。

3.根据权利要求1所述的基于集成学习策略的图像细粒度识别方法，其特征在于：所述步骤(2)中利用多流基础网络提取图像特征，计算交叉双线性特征并构造若干基分类器：

步骤3.1：利用多流网络提取数据增广后图像的特征，将增广后的图片喂入K路卷积神经网络，这里的K路卷积神经网络Stream 1、Stream 2和Stream 3分别采用ResNet-34网络、ResNet-50网络和VGG-16网络，利用他们作为基础特征的提取网络，这样获得了细粒度图像的特征；

步骤3.2：计算多流网络的交叉双线性特征，分别提取Stream 1和Stream 2的双线性特征、Stream 1与Stream 3的双线性特征以及Stream 2与Stream 3的双线性特征，到这里便获得了K路卷积神经网络的交叉双线性特征，双线性特征的计算方法为：输入为两路卷积神经网络特征图，分别为A，B，将A进行转置然后与B相乘，将上述结果进行归一化操作，并进行L2正则化；

步骤3.3：利用跳跃连接融合底层特征。将底层特征先经过1x1卷积提高通道数，使通道数与高层通道数一致，然后使用池化层进行4倍下采样，使之特征图尺寸与高层一致，这样便可以使用拼接或者元素相加方式将底层特征与高层特征进行融合。

4.根据权利要求1所述的基于集成学习策略的图像细粒度识别方法，其特征在于：所述步骤(3)中利用多数投票法和加权投票法等集成策略构造若干基分类器，使用最终的结果预测细粒度类别：

步骤4.1：以上述多流网络的交叉双线性特征为基础构造若干基分类器，采用不同的集成策略去集成细粒度识别器，利用最后的结果进行预测细粒度类别，其中用到的集成策略包括多数投票法和加权投票法，多数投票法其公式如下：

式中，K是基分类器的个数，表示弱分类器h_i在类别标记c_j上的输出。

加权投票法其公式如下：

式中，ω_i表示第i个弱分类器的权重，其值可以由弱分类器在数据集上测试准确率来确定；

其中损失函数为联合交叉熵损失函数来指导训练和学习过程。联合交叉熵损失函数公式为；

式中，y_i表示真实的类别标签，表示网络预测的类别标签信息，C是训练数据集上的类别总数，K为基分类器的个数；

至此，基于集成学习策略的图像细粒度识别方法便分析完毕。