[发明专利]一种基于深度学习的两地双车牌检测识别方法及系统

权利要求书

1.一种基于深度学习的两地双车牌检测识别方法，其特征在于，包括以下步骤：

步骤S1，构建带车牌标注的车辆数据集，包括如下子步骤，

步骤S1-1，收集带有车辆的图片数据集，再利用预训练模型对收集到的图片数据集检测车辆目标并从原图片分割出车辆区域进行保存，获得车辆图片数据集；

步骤S1-2，对车辆图片数据集进行样本标注，样本标注内容包括车牌区域和字符区域并标注类型；

步骤S2，训练经改进的MTCNN车牌检测器，并使用训练好的车牌检测器定位图像中的车牌区域及车牌四个角点的坐标，然后使用车牌的四个角点坐标对车牌区域进行矫正；

所述改进的MTCNN车牌检测器中，使用MTCNN的子网络PNet、RNet网络提取及筛选候选车牌区域，再使用改进的子网络ONet对提取的候选车牌区域进行精细筛选，矩形框修正及角点定位；所述改进的子网络ONet包括使用Conv层替代fully connect全连接层，以降低网络计算量及提高网络的运行速度；

步骤S3，训练LPS/CR-NET车牌字符检测器，并使用训练好的车牌字符检测器检测出车牌中各字符的包围框及类别；

步骤S4，车牌字符排序，包括对步骤S3的车牌字符检测结果进行排序，输出串联的车牌字符序列，包括如下子步骤，

步骤S4-1，设S3字符分割与识别出的字符有n个，计算这n个包围框的平均宽度及平均高度

步骤S4-2，按字符包围框的中心位置坐标的X坐标升序排列，记第i个包围框为K_i，i＝1，...，n，x_i为K_i的中心点X坐标，y_i为K_i的中心点Y坐标；

步骤S4-3，设置字符的初始行位置，包括设车牌有两行字符，分别记为row1、row2，则将所有字符都归为row2；

步骤S4-4，分离字符行，包括计算K_i、K_i+1的水平距离Δw_i，i+1＝x_i+1-x_i及垂直距离Δh_i，i+1＝y_i+1-y_i，i＝1，2，...n-1，构造判别式：

P表示相邻字符垂直方向上的相对距离，用于判别K_i、K_i+1是否在不同行；b是偏置值，若P＞0.8且Δh_i，i+1＜0，则将K_i+1标记为row1；若P＞0.8且Δh_i，i+1＞0，则将K_i标记为row1；若K_i已在row1中，则跳入下一个循环i＝i+1，直至i＝n-1；

从右到左反向计算P值，更正邻近字符的行位置，包括计算K_i-1、K_i的水平距离Δw_i-1，i＝x_i-x_i-1及垂直距离Δh_i-1，i＝y_i-y_i-1，i＝n，n-1，...2，计算P值，若P＜0.7则将K_i-1归为K_i所属的行位置；

步骤S4-5，串联各行字符，设str_row1、str_row2为空字符串，若K_i属于row1则将其串联到str_row1，否则串联到str_row2；

步骤S4-6，输出车牌号码；若str_row1不为空，则输出str_row1和str_row2的串联结果，否则只输出str_row2。

2.根据权利要求1所述基于深度学习的两地双车牌检测识别方法，其特征在于：步骤S1-2中，将车牌的四个角点以左上角点为起点按顺时针方向依次标定，并使用这四个角点生成车牌区域矩形框。

3.一种基于深度学习的两地双车牌检测识别系统，其特征在于：用于实现如权利要求1至2所述的一种基于深度学习的两地双车牌检测识别方法。