[发明专利]基于多中心度量损失的多视角环境下车辆重识别方法

说明书

本发明提供了一种基于多中心度量损失的多视角环境下车辆重识别方法。该方法包括：获取包含车辆身份标签的车辆样本图像，经过空间变换网络对图像进行仿射变换后，将图像经过深度卷积神经网络进行特征提取，得到图像的特征向量；根据图像的特征向量分别计算出分类任务损失和多中心度量学习损失并相加，得到综合损失的值；根据综合损失的值计算深度卷积神经网络的参数和视角中心向量的梯度，得到训练好的深度卷积神经网络模型；利用训练好的深度卷积神经网络模型对车辆图像进行特征提取和身份识别处理。本发明使用空间变换网络对图像进行仿射变换，采用K‑means聚类的方法的估计视角信息，可以增加车辆视角估计的准确性，提高车辆重识别的准确率。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多中心度量损失的多视角环境下车辆重识别方法。

背景技术

由于机器学习尤其是深度学习方法在计算机视觉问题上取得巨大的成功，越来越多的基于深度学习的视觉方法应用于智能交通系统上，车辆作为交通系统中的一个重要的目标已经成为计算机视觉和智能交通领域中一个重要的研究对象。车辆重识别问题目的是从由多个摄像头捕捉到的车辆样本图像中检索出全部属于目标车辆的图像，当前的车辆重识别模型大体上可以分为两个组成部分：特征提取器和分类算法。

近年来多数的车辆重识别系统使用常用的深度卷积神经网络直接从车辆的视觉外观提取特征向量。常用的特征提取器有ResNet，DenseNet等或者通过将注意力机制，局部特征提取等技术引入到这些标准的深度卷积神经网络网络中而衍生出来的其他变种。对特征进行分类的算法主要分为两类，基于分类损失函数的算法和基于度量损失函数的算法，基于分类损失函数的算法目的是学习一个不同的类别之间的决策超平面以此区分不同的车辆，基于度量损失函数的算法通过模型学习出两张图片的相似度，具体表现为同一车辆的不同图像的相似度大于不同车辆的不同图片。最后度量学习的损失函数使得相同车辆的图像(正样本对)的距离尽可能小，不同车辆样本图像(负样本对)的距离尽可能大。实验表明，将基于分类损失函数和基于度量损失函数以一定的比例结合起来会取得更好的识别结果，因此，近年来多数的车辆重识别模型均采用将两种损失函数结合起来作为模型的损失函数。

但是车辆重识别通常采用的是从视频监控中取得的图像，而监控之间的视野往往互不重叠，因此车辆样本图像往往是从不同的角度观察到的，而车辆的视觉外观往往在不同的视角的下有着很大的差异和形变，因此导致车辆重识别问题有着极大的类内差异性。同时当不同的车辆具有相同的车型和颜色时从视觉外观上往往难以区分，因此，车辆重识别问题的同有着极大的类间相似性。因此，在视角的变化导致的车辆重识别有着极大的类内差异性和极大的类间相似性的问题背景下，找到通过将视角信息引入度量方法中以判断多视角下的车辆样本图像是否属于同一车辆是本发明需要解决的主要问题。

现有技术中的一种车辆重识别方案的模型框架示意图如图1所示，该方案通过诸如聚类等方法估计视角信息，在每一次迭代中，对输入的图像进行特征提取得到特征向量，然后对每一个车辆的所有特征向量进行聚类，预先定义的聚类的数目为视角的数目，根据聚类的类别结果，将特征分配到不同的视角组上，之后分别针对相同的视角内和视角间使用度量损失函数。

上述现有技术中的一种车辆重识别方案的缺点为：

1.在对图像进行预处理时，没有对图像进行自适应性的仿射变换，从道路监控中获取的图像往往有比较大的旋转和形变，因此直接将原始图像输入到网络中进行特征提取会影响视角信息的建模和识别准确率。

2.直接获取标注好的视角或者关键点标签会增加极大的数据标注成本。而在每一个视角内部对不同的车辆进行分类，需要得到十分准确的视觉信息，这不适用于通过聚类估计得到的视角信息。使用估计的视角标签时，需要多次进行聚类估计会增加训练的时间。

3.交叉熵损失函数可以有效地提高准确率，但没有考虑样本之间的距离，仍有一定的缺陷。并且因此每一次迭代特征都会发生变化，因此每一次迭代都需要重新的聚类，这影响着算法训练的效率。

发明内容