[发明专利]一种基于关键点和图匹配的车辆跨域重识别方法

说明书

本发明涉及计算机视觉领域，特别是涉及一种基于关键点和图匹配的车辆跨域重识别方法。本发明利用以HRNet为基线的关键点模型预测出车辆的关键点坐标，将基于HRNet的关键点模型得到的坐标映射到transformer模型上，通过关键点坐标得到车辆的局部特征，使用权重分配的方式使车辆的局部特征更具鲁棒性，最后使用基于图匹配的对齐策略加强车辆全局特征和局部特征之间的联系性，可得到跨域效果良好的车辆重识别模型，克服多摄像头下车辆的外观不同差异。该方法可在跨摄像头的车辆重识别中增强同一身份车辆不同样本之间的匹配度，极大的克服多视角带来的差异和不同车辆数据集带来的身份风格差异。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于关键点和图匹配的车辆跨域重识别方法。

背景技术

近年来，计算机视觉领域在车辆的有监督学习上进行了充分的发展，大量的方法使用在不同摄像头下多视角的图片来训练车辆网络。这些方法往往会在源域上发挥出色的性能。然而，当训练有素的源域模型一旦在网络未曾见过的目标域上进行测试时，会造成剧烈的性能下降。会造成这样的现象是基于两部分的原因，一个原因是不同的域存在着诸如车辆方向，光照，视觉模糊等环境因素的影响。另一个原因是传统的跨域车辆重识别方法只使用车辆的全局特征作为网络输入，而不重视对跨域识别有重要作用的局部特征以及局部特征之间的关联性。

在跨域车辆重识别中，最近的工作都是集中在使用聚类策略来得到车辆的伪标签，然而车辆伪标签的生成与图像的清晰度和是否模糊相关，更与超参数的使用有关。有些研究者提出使用域自适应的方法来实现车辆跨域，他们通常使用域分类或摄像头分类的对抗方法来完成对多摄像头下车辆图像视角差异的克服。然而，这些域自适应的方法只能对抗掉一部分域之间的差异，只能作为提升性能的一种手段。

现有的大部分车辆重识别策略都是基于有监督的。通过注意力模型让网络注意到车辆的关键性局部信息，为局部信息间建立互补和关联；使用教师-学生流网络，让学生流网络学习教师流网络中充分全面的车辆信息，并且用学生流中比较少的网络参数就能达到教师流中网络的效果；使用语义分割策略得到不同语义部分的车辆局部信息，通过这些局部信息辅助车辆重识别。此外，也有研究人员使用关键点来得到非常精确的局部信息，和全局特征合并使用提升车辆重识别性能。然而，他们只是将关键点作为一种提升性能的辅助手段，没有去关注更重要的车辆局部信息之间的联系。

近几年，无监督跨域车辆重识别也开始受到人工智能界的关注，一些方法也被提出。通过将目标域的风格向源域转变和利用聚类，生成能克服风格信息的伪标签来实现跨域；通过对每个方向的车辆图片进行聚类来克服视角对车辆带来的视觉偏差。然而，这些基于聚类的跨域车辆重识别方法存在不小的瑕疵。一部分的原因是因为训练聚类网络需要大量相同身份的多视角车辆图片，一旦缺少，聚类的效果就会大打折扣。另一部分的原因是当图片不够清晰或者图片出现噪音，聚类的效果就会变得很差，所以现在的学术界越来越不提倡使用聚类进行车辆跨域。

发明内容

本发明提供了一种跨域车辆重识别的方法，利用以HRNet为基线的关键点模型预测出车辆的关键点坐标，通过关键点坐标得到车辆的局部特征，使用权重分配的方式使车辆的局部特征更具鲁棒性，最后使用基于图匹配的对齐策略加强车辆全局特征和局部特征之间的联系性，克服多摄像头下车辆的外观不同差异。

本发明所采用的技术方案是：

一种基于关键点和图匹配的车辆跨域重识别方法，其特征在于，包括如下步骤：

Step1训练车辆的关键点模型：通过训练集对CNN网络进行训练得到关键点模型；

使用包含有整辆车36个车辆关键点的标注作为关键点网络的坐标标签，并引进了最先进的基于CNN网络的用于人体关键点预测的HRNet模型，作为训练车辆的关键点模型。此外，我们还在多个车辆的图像集中额外挑选出不同摄像头下多视角的车辆图像作为训练和测试集，用于测试关键点模型预测关键点位置的能力。