[发明专利]一种基于多视角特征融合的细粒度图像识别方法

说明书

一种基于多视角特征融合的细粒度图像识别方法，涉及图像处理技术领域，解决现有细粒度图像识别方法忽略了图像的细节信息以及存在图像之间视觉差异的适应能力较差，且引入的损失函数复杂，增加了模型的参数量等问题，包括双线性特征提取步骤，抑制分支学习步骤，同类对比模块学习步骤，中心损失计算步骤以及模型优化损失函数计算步骤；本发明引入抑制分支，通过抑制图像中最显著的区域，迫使网络寻找易混淆类别间微妙的判别性特征。引入同类对比学习模块，将同类样本的特征向量进行融合，增加同一类别下不同图像的交互信息。还引入中心损失函数，最小化特征与对应类中心之间的距离，使学到的特征更具判别性。提升了细粒度图像识别的准确率。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于多视角特征融合的细粒度图像识别方法。

背景技术

细粒度图像分类是在区分出基本类别的基础上，进行更精细的子类划分，例如鸟类或犬类等。因此该问题需要捕获细微的类间差异，充分挖掘图像的判别性特征。

细粒度物体在现实生活中广泛存在，与之相对应的细粒度图像识别是计算机视觉识别中的一个重要研究课题。当前细粒度图像识别主要存在以下三个方面的挑战：(1)由于姿势、背景和拍摄角度的不同，同一类别外表看来可能具有较大的差异。(2)不同类别由于属于同一父类，它们之间的差异仅存在于一些细微的区域中，例如鸟的喙和尾巴等。(3)对细粒度图像的收集、标注费时费力。如图1所示。

现有的方法主要通过以下三个方面达到识别的目的：(1)基于定位-分类网络进行细粒度图像识别。(2)通过开发用于细粒度识别的强大深度模型来直接学习更具判别力的表征。(3)结合图像的全局特征与局部特征实现图像的细粒度分类。

现有技术1，双线性池化细粒度图像分类(Bilinear pooling)，通过预训练的孪生卷积神经网络(convolutional neural networks)提取特征，并在特征的各个通道层面进行双线性池化，得到特征的高阶表示，从而增强特征的判别能力。该方法得益于通过一种新的池化方式，实现了细粒度图像识别准确率的提升。

该方法提出了一种新的双线性池化方式，但在细粒度图像类别间关系、模型参数量、细节区域的数量等方面没有针对细粒度图像识别进行有效的设计。即没有考虑到细粒度图像蕴含多种细节信息，类间差异小，类内差异大等因素的影响。

现有技术2，多注意多分类约束网络(Multi-Attention Multi-ClassConstraint)，该方法通过一次压缩-多次扩展(one-squeeze multi-excitation)模块提取输入图像的多个注意(attention)区域，然后引入度量学习(metric learning)，采用triplet loss和softmax loss来训练网络，将同类特征的相同注意拉近，将不同注意或不同类的特征推开，从而加强了部件之间的关系，实现了细粒度图像识别准确率的提升。

该方法主要利用度量学习来改善特征空间中的样本分布，因此，它对于挖掘一对图像之间视觉差异的适应能力较差。而且引入的损失函数较为复杂，需要构建大量样本对，极大地增加了模型的参数量。

发明内容

本发明为解决现有细粒度图像识别方法忽略了图像的细节信息以及存在图像之间视觉差异的适应能力较差，且引入的损失函数复杂，增加了模型的参数量等问题，提供一种基于多视角特征融合的细粒度图像识别方法。

一种基于多视角特征融合的细粒度图像识别方法，该方法由以下步骤实现：

步骤一、双线性特征提取；

将原始图像输入至双线性特征提取网络，将不同卷积层输出的特征图进行融合，获得双线性特征向量；所述特征提取网络采用在数据集ImageNet预训练的网络结构；

步骤二、抑制分支学习，具体过程为：