[发明专利]基于弱监督定位和子类别相似性度量的细粒度车型识别方法

权利要求书

1.一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于，包括以下步骤：

1)弱监督定位

首先用预训练好的VGG-Net网络对图像I目标定位，以减少背景干扰，接着对卷积层的掩码图进行处理，获取目标物体的边界框；

2)构建模糊相似矩阵

将训练集中定位后的图像I利用B-CNN网络提取特征，之后根据softmax分类结果得到度量各子类别相似性的模糊相似矩阵S，对于图像I，提取双线性特征f后采用softmax分类，将k个分类返回值连接成一个新的特征向量f_s，f_s(i)表示将图像I分为第i类的softmax返回值；然后对属于同一子类别内所有样本的softmax返回值求期望，得到该子类别整体上被分类为所有类别的平均概率值；最后求出每个子类别的softmax平均分类返回值，得到一个k×k维的模糊相似矩阵S，其中矩阵元素S_ij表示为：S_ij＝E(f_s)，S_ij表示类别i和类别j的相似性，S_ij值越大越相似；

3)采样组建三元组集

在模糊相似矩阵S基础上采样组建三元组，相似度越高的两个不同子类别采样比率越高，特征间距越大的同一子类别的图像越容易被选中，将模糊相似矩阵S的所有主对角元素提取出来构成一个对角矩阵diag(S₁₁,S₂₂,...,S_kk)，构建抽样分布矩阵C，表示为：C＝S-diag(S₁₁,S₂₂,...,S_kk)，对抽样分布矩阵C的所有元素归一化，使得C中所有元素之和为1；

4)联合学习改进的损失函数

利用改进的损失函数联合学习，即将改进的triplet损失和加权的softmax损失对同一子类别样本间距离进行限制，同时增大不同子类别样本间的距离。

2.根据权利要求1所述的基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于：步骤1)具体包括：

1.1)获取掩码图

将输入图像I送入VGG-Net，“pool₅”表示经过最大池化后最后一层卷积层的响应，即d张h×w的二维特征图，记为F＝{F_n}，其中，n＝1,...,d，其中F_n对应第n个通道h×w的二维特征图，F共有h×w个位置，每个位置(i,j)含有一个1×d维的卷积描述子x_(i,j)∈R^d，其中，i∈{1,...,h},j∈{1,...,w}；然后将pool₅响应沿深度方向加和，得到二维矩阵最后选取F所有位置响应的平均值作为阈值来指导弱监督定位，并将F中大于阈值的这部分区域称作掩码图M；

1.2)两层掩码图融合

获取比pool₅浅三层的relu_{5_2}层的掩码图M'，根据M'大小将pool₅层对应的掩码图上采样，将掩码图M和掩码图M'进行融合，只有当两个掩码图在同一位置(i,j)处对应元素均为1时该位置才予以保留，得到最终relu_{5_2}层的目标掩码图

1.3)获取边界框

在二值图像上标记连通区域，选出最大连通区域并在对应的掩码图进行凸包处理，确保连通区域包含更多的目标，将最大连通区域所对应的最小外接矩形作为最终的目标边界框。

3.根据权利要求2所述的基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于：步骤1)还包括在步骤1.3)之后，对定位准确性进行判别，通过采用交并比来验证目标边界框是否为目标位置，A是定位得到的边界框，B为真实标注框，IoU是A和B的交集占A和B的并集的比率，选取0.5作为阈值进行判断，即定位所得的边界框与标注框重合度大于等于0.5就认为定位正确，否则定位错误。