[发明专利]基于弱监督定位和子类别相似性度量的细粒度车型识别方法

说明书

本发明公开了一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法，包括：1）弱监督定位：用预训练好的VGG‑Net网络对图像目标定位，对卷积层的掩码图进行处理，获取目标物体的边界框；2）构建模糊相似矩阵：将训练集中定位后的图片利用B‑CNN网络提取特征，根据softmax分类结果得到度量各子类别相似性的模糊相似矩阵；3）采样组建三元组集：在模糊相似矩阵基础上采样组建三元组；4）联合学习改进的损失函数：利用改进的损失函数联合学习改进的triplet损失和加权的softmax损失对同一子类别样本间距离进行限制，增大不同子类别样本间的距离。本发明较原始模型定位更加准确、并且在分类准确性上有明显提升，能够很好地对车辆目标进行定位。

技术领域

本发明涉及一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法。

背景技术

细粒度车型识别作为细粒度图像分类问题的子问题，在传统车型识别只识别出车辆生产商的基础上，还要区分出同一车辆品牌旗下不同车辆的型号，如奥迪S5和奥迪S4等。

细粒度车型识别的目的是识别任意角度及场景下的车辆外观图像判断出车辆生产厂家、车辆型号等信息，在智慧交通、安防、汽车销售等领域具有重要意义。细粒度车型识别问题中不同车型类别间的差别往往很细微，具有显著区分度的信息只存在于细小的区域，因此需要对这些区域的信息进行特征编码。近年来随着大数据、硬件计算能力的提升，利用深度学习提取特征来改善细粒度车型识别效果已逐渐成为一种新的需求，与传统识别方法相比，有效的利用卷积神经网络可在训练数据驱动下自适应地构建深度特征描述，从而获取数据更抽象、更本质的表征。利用细粒度车型识别技术，可以在智能交通领域对道路交通情况进行统计，在汽车销售领域帮助潜在购车用户更好地了解感兴趣的车辆信息。

尽管细粒度车型识别的方法不同，但基本研究主要集中在以下两个方面：第一类是通过人工设计的特征提取方法来对输入图片进行特征提取，这类方法往往会通过对齐、校准、3D重建等方法消除车辆姿势及视角的影响。大多数基于人工设计特征的方法都是使用人为设计的特征提取方法将输入车辆图片转换为特征向量，再基于特征向量和分类算法来训练模型。Deng等人提出气泡集方法(BB)，人为划分具有区分度的图像区域，提取该区域的尺度不变特征变换及颜色直方图特征，使用支持向量机分类在车型识别数据集上取得了较好的识别效果，但缺点是需要大量人工标注信息。Krause等人通过建立图像的3维几何估计，将BB方法提升到了3维空间来消除不同视角的影响，大幅提升了识别准确率，但由于数据处理的复杂性因此难以扩展到较大的数据集。总得来说，基于人工特征的方法特征表征能力相对较弱，并且为了消除车辆姿势及视角的影响加大了整体模型的复杂度，计算也更耗时；

第二类是基于深度学习的方法，这类方法利用卷积神经网络在训练数据驱动下自适应地构建特征描述，找出具有区分度的部件信息来预测每款车辆的具体型号。当前，机器学习、深度学习研究方兴未艾，很多学者提出了基于卷积神经网络的细粒度车型识别方法，充分利用卷积神经网络的特征提取能力，并针对细粒度分类视觉差异主要集中在局部部件的特点进行优化。Yang等人建立了一个大规模的车辆数据库“CompCars”，通过深度网络的训练将结果用于车型分类、车型验证和车辆属性研究。Fu等人提出循环注意力卷积神经网络(RACNN)以相互强化的方式学习区域定位与特征表征，由粗到细迭代生成区域注意力，以端到端的训练方式大幅提升了识别精度。Hu等人则结合车辆位置信息与视觉显著性来对车辆精确定位，联合优化车型识别及车辆的视角分类两个任务，引入更多信息对视角变化的情况进行处理。Lin等人提出端到端的B-CNN模型，用两个神经网络在每个位置同时提取特征，然后将两个特征外积得到双线性特征，虽然提取的是全局特征，但是也包含了局部信息，因此它在不需要人工标记的同时，准确率也可以和基于部件的模型相媲美。基于深度学习的方法抛弃了人工特征改用卷积神经网络提取深度特征取得了显著的成果，但是深度学习模型计算量巨大，因此需要在网络优化的同时进一步提高网络的分类能力。

就细粒度车型识别而言，现有方法主要存在两个问题：