[发明专利]一种基于车正脸特征的车辆重识别方法

权利要求书

1.一种基于车正脸特征的车辆重识别方法，其特征在于，包括：

步骤1：获取车辆正脸图像，利用Mask R-CNN网络对图像进行部件检测和图像分割，得到车前挡风玻璃区域各物体的掩膜；

步骤2：获取所有车辆驾驶员和副驾驶位人员的掩膜，并根据之前在Mask R-CNN网络卷积过程中对应的特征图，提取分割出的车辆驾驶员和副驾驶位人员的特征；

步骤3：将当前车辆驾驶员特征与检索数据集中所有图像的车辆驾驶员特征进行度量计算，将距离由小到大排序；

步骤4：判断当前车辆是否具有副驾驶位人员特征，若是，则执行步骤5，否则，执行步骤6；

步骤5：将该副驾驶位人员特征与步骤3中排序后的前十张具有副驾驶位人员特征再次进行度量计算，将距离由小到大重排序，然后执行步骤7；

步骤6：在排序中剔除步骤3排序后的前十张具有副驾驶位人员的特征的图像，然后执行步骤7；

步骤7：查询的车辆图像与距离最小的目标图像，将其判断为同一车辆个体；

步骤8：完成车辆的重识别；

所述的步骤2具体为：

将从Mask分支中预测的类别为人的掩膜用k近邻算法缩放成7×7大小的二值矩阵，并与经过RoIAlign池化后的特征图进行比较，如果该类别特征图对应位置的掩膜值为1，则表示该区域存在含有分割前景语义的目标，需要将特征向量的值保留；若对应位置的掩膜值为0，则表示该区域不存在含有分割前景语义的目标，需要将特征向量的值去除；

对于通过掩膜过滤过的特征图，需要对滤波器的输出进行最大值池化，同时进行一次标准化，最后得到同一类别的两个特征向量，分别作为车辆驾驶员特征和副驾驶位人员特征的表示；

所述的步骤3具体为：

首先需对所有车辆图像进行标签，同时拥有驾驶员特征和副驾驶位人员特征的车辆图像标记为1，只拥有驾驶员特征车辆图像的标记为0，然后给定一个待查询的车辆图像query和检索数据集G，利用车辆驾驶员特征先进行比较，将待识别车辆图像query的驾驶员特征与检索数据集G内所有图像的驾驶员特征进行度量计算，将距离由小到大排序。

2.根据权利要求1所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的步骤1中Mask R-CNN网络的获取方法为：

以ResNet-FPN网络为骨干网络构造Mask R-CNN网络。

3.根据权利要求2所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的步骤1具体为：

车辆正脸图像作为输入，骨干网络ResNet-FPN用于对车辆正脸图像中各部件的特征提取；特征金字塔FPN经过区域生成网络RPN得到候选区域，将候选区域和经过骨干网络得到的特征图送入RoIAlign层计算出感兴趣的区域，之后再做分类、回归和掩膜预测；在边界框识别和掩膜预测组成的头部网络中，目标分类和回归分支通过全连接层与softmax损失计算，利用边界框置信度获取边界框的位置偏移量，得到边界框及边界框中的目标类别，输出类别的概率向量；掩膜预测Mask分支使用sigmoid损失和二进制损失，为各个类别生成掩膜。

4.根据权利要求3所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的掩膜类别包括标志掩膜、车内饰品掩膜、车辆驾驶员掩膜及副驾驶位人员掩膜。

5.根据权利要求1所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的标准化具体为L2标准化，公式为：

其中，为每一维度的数据；x_j为该维度下所有数据平方和的开根。

6.根据权利要求1所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的度量计算方法为：

其中，q_i为待识别车辆图像query的驾驶员特征；g_i为检索数据集G内所有图像的驾驶员特征；n为检索数据集G内车辆图像数量。

7.根据权利要求1所述的一种基于车正脸特征的车辆重识别方法，其特征在于，所述的步骤4具体为：

先判定该图像的标签，若标签为1，则说明该车辆图像具有副驾驶位人员特征，则需要将该图像的副驾驶位特征与步骤3排序后的前十张标签为1的图像的副驾驶位特征再次进行度量计算，将距离由小到大重排序；若标签为0，则说明该车辆图像不具有副驾驶位人员特征，则需要剔除步骤3排序过后前十张图像中标签为1的所有图像，将距离由小到大重排序；最后查询的车辆图像与距离最小的目标图像属于同一车辆个体。