[发明专利]基于集成学习策略的图像细粒度识别方法

说明书

本发明提出了一种基于集成学习策略的图像细粒度识别方法。考虑到上述方法中不同网络流提取的交叉双线性特征判别能力有差异的问题，提出了基于集成学习bagging策略的细粒度识别方法。该方法利用多流网络提取的交叉双线性特征构造若干基分类器，采用多数投票法和加权投票法等策略去集成各基分类器，以此来预测图像细粒度类别。该方法使用跳跃连接的结构去融合图像的底层特征，进一步改善了图像特征利用不充分的问题。经实验验证，本发明提出的基于集成学习策略的细粒度识别方法在CUB‑200‑2011公开数据集上的识别准确率有较大的提高。

技术领域

本发明涉及计算机视觉与人工智能、多媒体信号处理领域，特别是涉及基于集成学习策略的图像细粒度识别方法。

背景技术

随着城市随着深度卷积神经网络的不断发展，深度学习等技术将计算机视觉中的目标检测、语义分割、目标追踪和图像分类等任务的精度和推理效率不断提高，这主要是得益于卷积神经神经网络强大的非线性建模能力、目前海量的数据以及硬件设备计算力的提高。而这也使得图像细粒度识别这一计算机视觉任务带来了巨大的发展。目前，针对图像分类任务的方法已经相对较为成熟，这体现在ImageNet数据集上的识别指标已经到了比较高的水平，而图像细粒度识别任务因其识别子类相对困难则拥有一个更广阔的发展空间和更有价值的应用空间要求。

图像的细粒度识别是相对于粗粒度识别而言，一般来说，图像的粗粒度识别是指完成具有较大差别类的识别，诸如人、椅子、车、猫等不同种类的分类；而细粒度识别的任务是要识别目标大类中的子类，比如加利福尼亚理工学院鸟类数据库(CUB-200-2011，Caltech-UCSD Birds-200-2011)数据集中的200种鸟类识别，斯坦福大学提出的汽车数据集(Stanford Cars)中196类汽车等。因此细粒度识别任务具有子类之间方差小，子类之内方差大的特点，这与图像粗粒度识别相比，细粒度图像子类容易混淆，可以区分的信息区域点少，子类之间相似特征多等，因此图像细粒度识别难度增大。

发明内容

针对图像目标子类的细粒度识别任务，本发明提供基于集成学习策略的图像细粒度识别方法，使用多流网络提取细粒度图像特征，使用多流网络提取细粒度图像特征，计算交叉双线性特征，分别构造基分类器，采用多数投票法和加权投票法等策略去集成各基分类器，以此来预测图像细粒度类别，为达此目的，本发明提供基于集成学习策略的图像细粒度识别方法，使用多流网络提取细粒度图像特征，计算交叉双线性特征，分别构造基分类器，采用多数投票法和加权投票法等策略去集成各基分类器，以此来预测图像细粒度类别，该方法包括如下步骤：

(1)对输入图像进行数据增广；

(2)利用多流基础网络提取图像特征，计算交叉双线性特征；

(3)利用多数投票法和加权投票法等集成策略构造若干基分类器，使用最终的结果预测细粒度类别。

作为本发明进一步改进，所述步骤(1)中对图像进行增广，具体步骤为：

步骤2.1：使用离线旋转和在线旋转来增强数据，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，除此外，还使用了亮度增强，随机裁剪方式进行数据增强。

作为本发明进一步改进，所述步骤(2)中利用多流基础网络提取图像特征，计算交叉双线性特征并构造若干基分类器：

步骤3.1：利用多流网络提取数据增广后图像的特征，将增广后的图片喂入K路卷积神经网络，这里的K路卷积神经网络Stream 1、Stream 2和Stream 3分别采用ResNet-34网络、ResNet-50网络和VGG-16网络，利用他们作为基础特征的提取网络，这样获得了细粒度图像的特征；