[发明专利]基于判别学习的细粒度图像分类方法

摘要

本发明属于计算机视觉技术领域，提供了一种基于判别学习的细粒度图像分类方法。提出了一种新的端到端自回归定位与判别性先验网络模型，该模型学习探索更准确的判别patch大小，并能够实时分类图像。具体而言，设计了一个多任务判别学习网络，包含一个自回归定位子网络和一个判别性的先验子网络，判别性的先验子网络具有引导损失函数和一致性损失函数来同时学习自回归系数和判别性的先验map。自回归系数可以减少判别性patch中的噪声信息，判别性先验map通过学习判别概率值将数千个候选patch过滤成个位数数量patch。大量实验表明，所提出的SDN模型在准确性和效率方面均达到了最新水平。

主权项

1.一种基于判别学习的细粒度图像分类算法，其特征在于，两个子网络：(1)自回归定位子网络自回归定位子网络学习自回归系数以调整判别patch的大小，使用三个patch生成器层来生成默认的patch；不同层的特征图具有不同的感受野；设计patch的比例尺寸、缩放步长和纵横比，以便不同的特征图对不同大小的判别区域负责；在获得图像特征M_I及其相应的patch坐标向量V_c后，通过双层网络将图像特征输入到自回归函数；其中，自回归函数是有一个卷积操作和对齐操作；第一层是卷积层：M_SR＝f(M_I)   (1)其中，M_I∈R^W×H×C，其中W，H表示图像特征的宽度和高度，C是通道的数量；M_SR∈R^W×H×2K是自回归系数图，K是给定位置默认的patch的数量；f是卷积运算：f(M_I)＝g(W_I，R·M_I+b_R)    (2)其中，g是非线性函数，W_I，R∈R^a×a×C×2K是学习参数，其中a是卷积核的大小，b_R表示自回归定位子网络中卷积层的偏置；第二层是对齐层：映射函数h用于将自回归系数与相关联的patch对齐；V_SR＝h(W_p⊙M_SR)    (3)其中，W_p是映射权重，⊙表示权重矩阵和系数矩阵之间的乘法；通过映射，将矩阵表示M_SR∈R^W×H×2K转换为矢量表示V_SR∈R^2K；V_SR是2K维向量，对应于默认patch的宽度和高度的自回归系数，向量的长度等于补丁总数的两倍；使用提出的引导损失函数使网络关注判别区域的大小，然后让网络学习自回归系数；根据每个默认patch的自回归系数，调整每个候选patch：其中，是第i个默认patch的坐标，i的范围是从1到patch的数量；然后，将学习到的自回归系数和分别和对应的候选patch的宽度和高度相乘；通过这种方式，自动调整默认patch的长宽比例来减少默认框中的无用信息；(2)判别性的先验子网络判别性的先验子网络用于引导网络搜索具有判别区域的patch；添加一个1×1×K的卷积层来学习判别概率图，来显示patch中的判别区域对最终分类结果的影响；M_DP＝g(W_I，D·M_I+b_D)    (4)V_DP＝h(δ(W_DM_DP))    (5)其中，W_I，D∈R^a×a×C×K是学习参数，a是卷积核的大小，b_D表示判别性的先验子网络中卷积层偏置，g是非线性函数，W_D表示对其层的权重，M_DP∈R^W×H×K是学习的判别概率图；还通过映射函数h将矩阵表示M_DP∈R^W×H×K转换为矢量表示V_DP∈R^K；以这种方式，将辨别概率与对应的patch对齐；δ是Sigmoid激活函数，用于确保判别概率值介于0和1之间；(3)结合自自回归定位子网络和判别性的先验子网络将自回归定位子网络和判别的先验子网络组合成一个统一的网络，为弱监督细粒度图像分类挑选出最具辨识力的patch；首先将判别先验概率和自回归比例系数分配给每个默认patch；公式表示：每个patch都有其默认坐标(t_x，t_y，t_w，t_h)和判别概率t_s以及两个自回归比例系数(s_w，s_h)；因此，自回归框BBox表示如下：BBox＝[t_x，t_y，t_w×S_w，t_h×s_h，t_s]    (6)网络与SR和DP一起运行，并选择具有大于阈值θ的判别概率的BBox；使用阈值，仅选择包含判别特征的少量patch，因此复杂性已显着降低；根据剩余BBox的坐标，从原始图像中裁剪出剩余的patch，并通过Resnet‑50提取特征，以生成高质量的patch级判别特征；(4)Loss函数的设计完整的多任务损失表示如下：其中代表细粒度分类损失；和分别代表引导损失函数和一致损失函数；损失之间的平衡由超参数α，β控制；在通过大量的实验验证，α＝β＝1分类效果最佳；将所选择的判别区域表示为R＝{R₁，R₂，...，R_N}，并将相应的判别概率得分表示为S＝{S₁，S₂，...，S_N}；然后，引导损失和一致损失定义如下：其中，X是原始图像，函数C是置信函数，反映了分类到正确类别的概率；引导损失旨在学习自回归系数，当使用整个图像的全局特征使所选区域的预测概率值低于预测概率值时，网络将受到惩罚并通过反向传播进行权重调整；一致性损失约束判别概率尽可能接近分类概率，可促使网络选择最具判别性的区域。