[发明专利]一种车牌字符识别方法及装置

权利要求书

1.一种车牌字符识别方法，其特征在于，包括：

获取车辆图片；

采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框；

根据所述车牌区域矩形框，从所述车辆图片中截取车牌图片；

采用矩形框对所述车牌图片中的多个字符分别进行位置标注，得到多个字符区域矩形框；

采用预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；所述预先训练的LPS/CR－NET网络模型的训练步骤包括：

构建车牌数据集；

基于所述车牌数据集C训练LPS/CR－NET字符分割与识别的网络模型结构，并在车牌图片中定位各个字符的位置并识别各个字符；

根据包含多张车牌测试图片的车牌测试集对LPS/CR－NET的各训练模型进行网络测试，计算各个LPS/CR－NET网络模型权重文件的车牌识别准确率，保留正确率表现最高的LPS/CR－NET网络模型权重文件；

采用基于卷积神经网络对车牌识别模型进行训练，车牌识别模型的训练过程主要包括两个阶段：1)训练阶段，2)测试阶段；

在训练阶段，先基于车牌车辆数据集训练yolov3－tiny目标检测网络，实现在车辆图片中定位车牌区域；然后，基于车牌数据集训练LPS/CR－NET字符分割与识别的目标检测网络，实现在车牌图像块中定位各字符块位置及识别各字符；

在测试阶段，首先利用车牌车辆测试集对yolov3－tiny的各训练模型进行精度计算，然后保留精度最好的yolov3－tiny模型权重文件；利用车牌测试集对LPS/CR－NET的各训练模型进行精度评定，初步确定精度较好的几个权重模型；然后基于yolov3－tiny的双车牌检测结果和字符排序算法，计算各个初步确定的LPS/CR－NET模型权重下车辆图片的双车牌识别正确率和精度，保留正确率表现最高的LPS/CR－NET模型权重；

在基于车牌车辆数据集训练yolov3－tiny网络模型结构和基于车牌数据集训练LPS/CR－NET字符分割与识别的网络模型结构，并最终确定正确率表现最高的LPS/CR－NET网络模型权重文件的操作流程如下：

A)将车牌车辆数据集和车牌数据集中的数据均转为标准YOLO系列常用的数据格式；

B)分别采用K－means聚类算法获取各自的anchor锚定值；

C)Yolov3－tiny车牌目标检测网络训练；

D)Yolov3－tiny网络测试，计算车辆图片的车牌正确检出率，确定模型权重，其中车牌正确检出率LP_{obj_accuracy}表示为：

n_correct表示车辆被成功检出所有车牌的车辆图片数，N_picture表示车辆图片总数；

E)LPS/CR－NET字符分割识别网络训练；

F)LPS/CR－NET网络测试，计算车牌字符完全分割识别准确率，初步筛选模型权重，车牌字符完全分割识别准确率LP_{CH_accutacy}表示为：

其中，n_correct表示车牌图片中所有字符全部成功识别的车牌数，N_picture表示车牌图片总数；

联合Yolov3－tiny网络确定LPS/CR－NET网络模型权重；首先，通过Yolov3－tiny网络检测出车牌区域；然后将检测出的车牌区域输入到LPS/CR－NET进行字符分割与识别；对字符分割识别结果进行字符排序，输出车牌号；若车牌预测框与真值的IoU大于0.5且车牌号一致，则该车牌预测识别成功；再者，若车辆中的所有车牌识别成功，则该车辆图片识别成功；计算车辆图片识别正确率，确定正确率最高的LPS/CR－NET网络模型权重；

收集车牌图片；

采用矩形框对收集的所述车牌图片的字符进行位置标定，形成n个字符区域矩形框；

计算n个字符区域矩形框的平均宽度及平均高度

按字符区域矩形框的中心位置坐标的水平方向x坐标升序排列；记第i个字符区域矩形框为K_i，i＝＝1，...，n；x_i为K_i的中心点的水平方向x坐标；

默认所有字符在第二行；

计算任意相邻两个字符区域矩形框K_i和K_j的水平距离Δw_i,j＝x_j-x_i及垂直距离Δh_i,j＝y_j-y_i(i＝1，2，...，n－1，j＝i+1)，构造判别式；

其中，P0.8且Δh_i,j＜0，则将K_j在第一行；若P＞0.8且Δh_i,j≥0，则将K_i在第一行；

计算K_i－1，K_i的水平距离Δw_i-1,i＝x_i-x_i-1及垂直距离Δh_i-1,i＝y_i-y_i-1，(i＝1，2，...，n－1，j＝i+1)，计算P；若P＜0.7，则K_i－1在K_i所在的行位置；

串联第一行和第二行的字符，输出车牌字符；

根据所述字符区域矩形框的排序结果和每一个所述字符区域矩形框内的字符类别识别结果，输出车牌号。