[发明专利]面向无约束条件下的车牌定位及识别方法、系统

权利要求书

1.一种面向无约束条件下的车牌定位及识别方法，其特征在于，包括：

S1，获取无约束条件下的车辆图像样本；

S2，对S1中获取的车辆图像样本进行数据增强处理，形成增强样本训练数据集；

S3，随机将S2中得到的训练样本数据集中的车辆图像样本数据输入至目标检测网络，对样本数据进行车牌预定位；

S4，对S3中得到的车牌预定位结果进行矫正，得到准确和完整的车牌图片；

S5，将S4中得到的车牌图片送至车牌识别网络进行车牌号码识别，并将识别得到的多个号码序列依次与预定义模板集合相匹配，返回匹配成功的第一个号码序列；

S6，训练完S3中的目标检测网络和S5中的车牌识别网络后，得到无约束条件下端到端的车牌定位和车牌识别模型；

S7，将S6中得到的车牌定位和车牌识别模型部署在无约束条件下，获取现场往来车辆图像，并输入至车牌定位和车牌识别模型中；

S8，根据车牌定位和车牌识别模型中的车牌定位部分，检测出输入图像中的完整车牌位置，进行车牌定位；

S9，根据车牌定位和车牌识别模型中的车牌识别部分，对定位后的车牌图像进行车牌号码识别，得到对应的车牌号码序列。

2.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S1中，对于车辆图像样本，在已有图像样本的基础上，加入采集自不同场景下的车辆图像；其中，所述不同场景包括：不同光照、车辆相对相机在不同轴上不同角度的偏转以及模糊场景。

3.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S2中，数据增强处理包括：对车辆图像样本进行几何增强和/或外观增强；使得到的车辆图像数据包含原始数据部分和增强数据部分。

4.根据权利要求3所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述几何增强包括：旋转和/或随机裁剪；其中：

所述旋转用于训练后模型适应输入图像中车辆的不同摆放位置；旋转过程中，对应的ground truth坐标也相应进行变换；旋转后样本数据周围的黑色区域采用样本的平均像素填充；

所述随机裁剪使得车牌模型适应输入图像中车辆不完整的情况；

所述外观增强包括：运动模糊、高斯模糊和/或Gamma变换；其中：

所述运动模糊和高斯模糊，用于车牌模型适应输入图像中的图像模糊现象；

所述Gamma变换，增强样本数据的对比度和亮度，用于车牌模型适应实际场景中的光照差异。

5.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S3中，目标检测网络采用yolov3-tiny网络，所述yolov3-tiny网络的损失函数为：

其中，W,H是特征图的宽和高，A是先验框数目，λ_class,λ_coord,λ_obj,λ_noobj分别表示loss中各项的权重系数，代表所划分网格是否含有目标，g_t表示真实标定值，b_ijk为网络的预测值，是预测框和真实框的交并比；

式(1)中：

第一项为分类误差；

第二项为预测框的位置误差；

第三项为包含目标的预测框的置信度误差；

第四项λ_noobj·1_IOU＜thresh·(0-b_ijk)²为不包含目标的预测框的置信度误差。

6.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S4中，对车牌预定位结果进行矫正，包括：

-回归坐标，用于得到包含完整车牌的车牌图像；

-矫正车牌，用于获得正面呈水平方向的车牌图像。