[发明专利]一种高位远景模糊车牌检测方法

权利要求书

1.一种高位远景模糊车牌检测方法，其特征在于，具体包括如下步骤：

（1）数据集构建：先收集高位远距离成像的交通监控、高位侧方位停车场中含有常规以及倾斜、畸变车牌的图像，并对车牌的位置和每一张车牌中的字符进行标注后构建数据集，再将数据集中的图像进行不同模糊核的模糊处理和下采样处理，得到原始图像和退化后的图像对，最后将数据集划分为训练集、验证集和测试集；

（2）共享主干网络特征提取：先对图像的尺寸和数值范围行初始化处理，再将处理后的图像输入到主干网络中进行卷积特征提取，然后将提取的卷积特征通过特征金字塔网络进行

强化利用得到多尺度车牌卷积特征图集合；

（3）车牌位置定位：根据步骤（2）得到的多尺度车牌卷积特征图集合，在不同的多尺度卷积层后连接两层卷积核为3*3的卷积层以及一层平均池化层，在特征图的每一个特征点设置一个锚框，再分别使用两个结构相同的但是不共享参数的全连接层子网络学习分类和位置偏差信息，位置偏差信息是车牌的紧致目标框与特征点对应的锚框的偏差，完成目标框类别分类和位置回归的任务，其中类别分类为是否是车牌，位置信息为车牌的最小外接矩即朝向框；

（4）车牌增强：将步骤（3）得到的车牌位置对应的特征图区域输入车牌增强模块，先使用两个深度残差卷积进行深度特征提取，再使用最近邻上采样方法对特征图进行上采样，通过增加特征图的尺寸实现对图像的超分辨率，最后使用一个卷积层对图像进行重建，输出去模糊以及超分辨率的车牌图像；

（5）车牌识别：根据步骤（3）得到的车牌的位置对应的卷积特征，车牌识别模块在卷积特征后使用两个级联的卷积层，对车牌特征进行进一步提取，然后对车牌中字符位置进行定位，并使用Softmax函数对字符类别进行分类，字符类别主要包含省份、字母、数字以及特殊字符，最后将识别出的字符按照位置关系输出，得到最终的车牌号；

（6）训练网络结构，得到训练好的模型参数；

（7）测试网络输出车牌位置和类别：保持图片长短边比例不变的情况下将图像长边尺寸缩放到1280，并对图片的短边进行填充，使得图像尺寸为1280×1080，作为车牌检测网络的输入，即可输出车牌的分类置信度和车牌的坐标位置，并设置阈值过滤低置信度的车牌，使用非极大抑制（NMS）删除网络输出的冗余的框，将车牌检测框对应的车牌特征输入到车牌识别模块，得到车牌号。

2.根据权利要求1所述高位远景模糊车牌检测方法，其特征在于，步骤（1）收集的车牌图像包含普通蓝色车牌、双层车牌和新能源车牌，标注的车牌位置为车牌的四个角点，通过四个角点的位置计算出表示车牌位置的点集合，点集合包含车牌的中心点、四个角点以及四条边的中心点，每一张车牌中的字符的标注包含字符位置标注和字符类别标注，其中字符位置标注使用中心点和长宽四个参数来表示，字符类别标注包含省份、英文字母、数字以及特殊字符。

3.根据权利要求2所述高位远景模糊车牌检测方法，其特征在于，步骤（1）中所述模糊处理使用高斯模糊处理，下采样处理使用双三线性插值处理。

4.根据权利要求3所述高位远景模糊车牌检测方法，其特征在于，步骤（2）所述主干网络使用在ImageNet数据集中经过预训练的ResNet50作为特征提取网络，分别提取ResNet50中C3、C4和C5输出的特征。

5.根据权利要求4所述高位远景模糊车牌检测方法，其特征在于，步骤（6）的具体过程为：使用数据集中训练集的图像，图片尺寸为1280×1024×3，按照每次训练需要的图像张数B，依次输入到网络中，使用IOU阈值作为样本分配策略的衡量标准，输出车牌的分类置信度O∈R^B×N×Class和回归坐标位置O∈R^B×N×4，其中Class为2，即是否是车牌，N是输出预测车牌目标的数量，4为车牌的水平框的中心点坐标和框的长宽，再采用Focal损失算预测类别和真实类别的误差，采用Smooth L1损失来计算预测车牌位置与真实车牌位置的误差，车牌增强模块使用原始清晰高分辨率车牌图像作为监督，使用L2损失函数来估计误差，车牌识别模块使用Focal损失算预测字符类别和真实类别的误差，采用Smooth L1损失来计算预测字符位置与真实字符位置的误差；最后通过反向传播更新参数，经过500轮完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的车牌检测网络参数。