[发明专利]一种基于多目标区域特征聚合的卡口车辆检索方法及系统

权利要求书

1.一种基于多目标区域特征聚合的卡口车辆检索方法，其特征在于，包括以下步骤：

S11：利用监控视频帧数据，构建卡口车辆目标检测数据库，设计基于深度卷积神经网络的车辆目标检测网络模型，利用所述数据库中的车辆标注数据训练该网络模型，用于对车辆进行检测和定位；

S12：根据S11中的车辆位置检测和定位结果，分割出图像中的卡口车辆区域，进一步构建车头目标检测数据库，用于训练车头目标区域检测模型，实现车头定位；

S13：根据卡口车辆的全幅图像、下半区域图像以及车头图像，分别训练三个基于深度卷积神经网络的车型识别模型，用于提取相应图像的车型类别特征；

S14：根据卡口车辆的全幅图像、上半区域图像，分别训练基于深度卷积神经网络的车辆识别模型，用于提取相应图像的车辆身份特征；

S15：针对所述S13和S14得到的模型，提取相应输入图像的卷积特征图，采用选择性卷积特征描述子聚合算法，分别进行特征聚合作为最终特征向量表示，最后分别进行归一化，然后连结为统一的特征向量作为卡口车辆的最终特征表示；

S16：使用S11～S15分别对待检索目标车辆图像以及数据库中的候选查询图像进行特征提取，得到待检索目标车辆图像和候选查询图像的特征向量，然后计算两者的特征相似性矩阵，采用重排序算法，获得最终的车辆检索排序与评分结果。

2.根据权利要求1所述的基于多目标区域特征聚合的卡口车辆检索方法，其特征在于，所述S14中的根据卡口车辆全幅图像训练基于深度卷积神经网络的车辆识别模型中使用两种损失损失函数进行训练，得到两个车辆识别模型。

3.根据权利要求1所述的基于多目标区域特征聚合的卡口车辆检索方法，其特征在于，所述S11中的所述卡口车辆目标检测数据库包括：从监控摄像头获取到的视频帧图像，以及对每张图像中的所有车辆目标进行人工标注的矩形包围框，所有的视频帧图像和标注样本，被分为训练集和测试集，用于训练目标检测模型。

4.根据权利要求3所述的基于多目标区域特征聚合的卡口车辆检索方法，其特征在于，所述S11中的车辆目标检测模型具体为：使用深度卷积神经网络提取所述输入图像的特征图，利用所述特征图与所述的人工标注的车辆目标矩形包围框，建立回归模型进行模型参数的训练和测试；

所述回归模型的参数包括深度卷积神经网络的各层网络参数，以及用于指导训练过程的损失函数参数；在模型训练过程中，通过基于随机梯度下降的数学优化算法，将损失函数不断最小化直到收敛到全局最优，进而得到收敛状态下的各层网络参数，在模型测试过程中，根据训练得到的回归模型，输入所述视频帧图像，输出图像中车辆目标的矩形包围框坐标和置信度得分。

5.根据权利要求4所述的基于多目标区域特征聚合的卡口车辆检索方法，其特征在于，所述S12中的车辆位置检测和定位结果包括摄像头采集的所有视频帧图像中出现的所有车辆目标的矩形包围框。

6.根据权利要求1至5任一项所述的基于多目标区域特征聚合的卡口车辆检索方法，其特征在于，所述S12中的车头目标检测数据库包括：从所述S11中得到的车辆检测和定位结果以及视频帧图像，获取到的卡口车辆全幅图像，以及对每张图像中的所有车头目标进行人工标注的矩形包围框，所有的卡口车辆全幅图像和标注样本，被分为训练集和测试集，用于训练目标检测模型。

7.根据权利要求6所述的基于多目标区域特征聚合的卡口车辆检索方法，其特征在于，所述S12中的车头目标检测模型具体为：使用深度卷积神经网络提取所述输入图像的特征图，利用所述特征图与所述的人工标注的车头目标矩形包围框，建立回归模型进行模型参数的训练和测试；

所述回归模型的参数包括深度卷积神经网络的各层网络参数，以及用于指导训练过程的损失函数参数；在模型训练过程中，通过基于随机梯度下降的数学优化算法，将损失函数不断最小化直到收敛到全局最优，进而得到收敛状态下的各层网络参数，在模型测试过程中，根据训练得到的回归模型，输入所述卡口车辆全幅图像，输出图像中车头目标的矩形包围框坐标。