[发明专利]一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法

摘要

本发明公开了一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标定位与识别方法，本发明使用计算机视觉技术，通过识别车灯对车标进行粗定位，以应对车牌遮挡与无牌车的情况，并通过基于卷积神经网络解决了车标识别问题，通过RPN动态地生成正负样本，使每一次传入的样本都不一样，减少网络的过拟合程度，提高网络的鲁棒性，改善了以车牌辨车的传统工作模式，为打击汽车套牌、一车多牌、假牌照等违法犯罪行为提供了可靠帮助，进一步提高了智能交通的可靠性，节省了大量的人力成本。

主权项

一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标识别方法，其特征在于具体步骤如下：步骤1：定义车标种类集合为C＝{Ci|i＝1,…,t}，其中t为车标的总数，并建立相应的含ground truth的数据集；步骤2：构建含有10层的卷积神经网络，10层依次是卷积层Conv1，池化层Pool2，卷积层Conv3，池化层Pool4，卷积层Conv5，卷积层Conv6，卷积层Conv7，全连接层Fc8，全连接层Fc9，分类层Softmax及回归层bbox_prediction；为了生成区域建议窗口，在该网络卷积神经网络卷积层Conv7输出的特征图上滑动一个小网络，这个网络全连接到全连接层Fc8，对RPN区域建议网络进行初始化，设定建议窗口的滑动步长，滑动窗口尺寸等初始化信息，其中全连接层Fc8的输入特征大小为N*N*M，M为卷积层Conv7的输出特征图的维度，N为归一化后的特征图边长，单位为像素，分类层Softmax的输出向量大小为t+1，回归层bbox_prediction的输出向量大小为4*(t+1)；步骤3：使用步骤1中的车标数据集对卷积神经网络进行训练，得到训练好的卷积神经网络：步骤4：利用训练好的卷积神经网络对输入的车辆图像I进行识别，具体为：步骤4.1：识别车灯并根据车灯的位置对车标进行粗定位，得到车标粗定位区域Rc；步骤4.2：将图像I输入训练好的卷积神经网络，得到Z个目标区域包围框集合bbox＝(bboxi|i＝1,2,...,Z)与该区域的预测概率向量bboxi＝(xi1,yi1,xi2,yi2)，i＝1,2,...,Z,根据式(19)得到bboxi的识别结果及其概率其中，为bboxi区域为车标Ck的概率，k＝1,2,...,t，(xi1,yi1)为bboxi左上角的坐标，(xi2,yi2)为bboxi右下角的坐标，单位为像素；步骤4.3：根据式(20)从上一步所得的集合bbox中筛选新的集合BBOX：其中，Nb为集合BBOX中包围框的数量，ρ1,ρ2为比例系数；步骤4.4：根据式(21)，得到车标定位的包围框bboxmaxk与其识别结果Cmax，完成车标定位与识别：其中，为bboxmaxk的得分。