[发明专利]基于判别学习的细粒度图像分类方法

说明书

本发明属于计算机视觉技术领域，提供了一种基于判别学习的细粒度图像分类方法。提出了一种新的端到端自回归定位与判别性先验网络模型，该模型学习探索更准确的判别patch大小，并能够实时分类图像。具体而言，设计了一个多任务判别学习网络，包含一个自回归定位子网络和一个判别性的先验子网络，判别性的先验子网络具有引导损失函数和一致性损失函数来同时学习自回归系数和判别性的先验map。自回归系数可以减少判别性patch中的噪声信息，判别性先验map通过学习判别概率值将数千个候选patch过滤成个位数数量patch。大量实验表明，所提出的SDN模型在准确性和效率方面均达到了最新水平。

技术领域

本发明属于计算机视觉技术领域，以提高细粒度图像分类准确性和效率为出发点，提出基于判别学习的细粒度图像分类方法。

背景技术

与一般图像分类不同，弱监督的细粒度图像分类(WFGIC)仅使用图像级标签在更详细的类别和粒度下识别对象。由于其在图像理解和计算机视觉系统中的众多潜在应用，WFGIC受到了学术界和工业界的广泛关注。WFGIC是计算机视觉领域的一个开放性问题，不仅因为属于同一子类别的图像在大小，姿势，颜色和背景方面存在很大差异，而属于不同子类别的图像在这些方面可能非常相似，而且仅使用图像级标签提取辨别特征难度很大。

从系统的角度来看，图像中局部区域的微小和微妙差异对于区分细粒度子类别非常重要。最近，大多数表现最佳的WFGIC方案都专注于挑选局部判别patch以提取最具辨别力的特征。首先，一些自下而上的方法通过使用选择性搜索(SS)从原始图像生成大量候选patch，然后他们试图挑选出有辨别力的patch。然而，这些自下而上的过程缺乏一种机制来确保所选择的判别性patch在最终分类阶段发挥重要作用。许多工作已经表明，通过使用自上而下的过程去除有噪声的图像块并保留那些包含有区别区域块的图像，可以克服这个问题。然而，所选patch内的内容仍然包含一些噪声信息，例如图1(a)中的背景区域。在这项工作中，我们提出了一个自回归定位子网络，其引导损失用于学习自回归系数，用于调整所选patch的大小以找到准确的判别区域，如图1(b)所示。具体而言，当使用原始图像的全局特征预测的所选区域的概率值大于预测概率值时，引导损失被设计为隐含地学习自回归系数。

为了挑选出最具辨别力的patch，一些方法应用了部分对齐或CNN探测器。通过SS生成的大约2000个大量候选patch需要通过深度CNN分类网络预测是否包含判别特征，这需要高计算成本。一些方法设计了端到端网络，以避免保留大量候选patch。在这些工作中，WSDL使用了更快的RCNN框架，它保留了大约300个候选patch。在这项工作中，我们提出具有一致损失的判别性先验网络，以将patch数量减少到个位数，大约5-8，以实现实时效率，如图1(c)所示。当判别概率值尽可能接近所选patch中的分类概率时，所提出的一致性损失促使判别性先验映射学习图像的判别概率值。

发明内容

本发明提出了一个基于判别学习的细粒度图像分类方法，如图2所示。

本发明的技术方案：

一种基于判别学习的细粒度图像分类方法，其特征在于，

两个子网络：

(1)自回归定位子网络

自回归定位子网络学习自回归系数以调整判别patch的大小，使用三个patch生成器层来生成默认的patch；不同层的特征图具有不同的感受野；设计patch的比例尺寸、缩放步长和纵横比，以便不同的特征图对不同大小的判别区域负责；

在获得图像特征M_I及其相应的patch坐标向量V_c后，通过双层网络将图像特征输入到自回归函数；其中，自回归函数是有一个卷积操作和对齐操作；

第一层是卷积层：

M_SR＝f(M_I) (1)