[发明专利]图像分类方法、计算机设备和存储介质

说明书

本申请公开图像分类方法、计算机设备和存储介质，使用深度残差网络提取特征，得到特征图，解决了网络退化、梯度消失的问题，提取了更多有用的特征信息，所花费的时间也将更短；采用优化后的区域建议网络，过滤掉很多无用的候选框，使筛选下来的候选框置信度更高，对判别图像更有效；采用了稀疏化B‑CNN，提高关键特征的显著性，有效解决训练集不是很大时产生过拟合的影响，提高了识别准确度；本申请实施例将优化后的优化后的区域建议网络和稀疏化B‑CNN网络融为一体，两个网络相互协调作用，较大地提高了细粒度图像分类的准确度以及减少了花费的时间。

技术领域

本申请涉及图像处理技术领域，技术领域，尤其涉及图像分类方法、计算机设备和存储介质。

背景技术

细粒度图像分类是计算机视觉领域一个重要的研究方向，不同于粗粒度图像分类，细粒度图像分类主要目的是对图像进行细致的子类划分。相比粗粒度图像分类，细粒度图像分类更关注图像中微小但十分重要的局部特征，因此细粒度图像分类的难度更大。

RPN(Region Proposal Network，区域建议网络)的作用是输入一张图像，输出置信度排名前N个目标可能存在的区域。RPN第一次出现在Faster RCNN这个结构中，专门用来提取候选框，在RCNN和Fast RCNN等物体检测架构中，用来提取候选框的方法通常是Selective Search(选择性搜索)，是比较传统的方法，而且比较耗时，在CPU上要2秒一张图，所以作者提出RPN，专门用来提取候选框，一方面RPN耗时少，另一方面RPN可以很容易结合到Fast RCNN中，称为一个整体。

B-CNN(Bilinear CNN，双线性BNN)模型则同时解决了图像分类任务中存在的精度高和效率低不可同时存在的问题，它只需要训练集样本的标签，不需要目标的边界框及部件的标注，同时又有较高的准确率。B-CNN主要依靠2个D-Net(Deep CNN)如VGG-16同时提取图像中某一图像块的图像特征与位置特征，组合成为一个双线性特征用于分类，因此B-CNN适用于细粒度图像分类任务。但是，B-CNN的特征提取网络采用VGG-16网络深度较深，参数较多，容易造成过拟合现象，模型在测试集上准确率与训练集相差较大。目前许多方法可以避免过拟合，但细粒度图像分类关注于局部关键特征，一些防止过拟合的方法容易造成关键特征丢失。因此，稀疏化B-CNN就应运而生，它能消除网络过拟合，提高关键特征的显著性。稀疏化B-CNN属于弱监督学习，可实现端到端训练。

针对细粒度分类子类别间细微的类间差异、较大的类内差异、依赖大量人工标注信息、过拟合导致关键特征丢失等问题，本发明提出了一种基于RPN与稀疏化B-CNN的细粒度图像分类算法。

申请内容

因此，有必要提供一种图像分类方法、计算机设备和存储介质，以解决细粒度图像分类中采用B-CNN模型容易造成过拟合现象、模型在测试集上准确率与训练集相差较大的技术问题。

为实现上述目的，本申请提出一种图像分类方法，所述方法包括：

将数据集图片放入深度残差网络中提取特征，得到特征图；

将所述特征图作为优化后的区域建议网络的输入，所述优化后的区域建议网络选择出代表所述数据集图片类别特征的目标所在区域,将所述目标所在区域放入全连接层，得到得分最高的N个候选框，N是大于1的整数；

根据所述N个候选框得到目标候选框，将所述目标候选框作为稀疏化双线性CNN网络结构的输入，所述稀疏化双线性CNN网络结构包括第一特征提取函数和第二特征提取函数，所述第一特征提取函数用于对物体的局部信息进行检测定位，所述第二特征提取函数用于对第一特征提取函数检测到的局部信息进行特征提取；

将所述第一特征提取函数和第二特征提取函数所得到的特征相加后，经过双线性池化，作为最后提取的特征向量，将所述最后提取的特征向量输入softmax层进行分类，得到细粒度图像分类结果。