[发明专利]一种任意倾斜角度的车牌检测方法

权利要求书

1.一种任意倾斜角度的车牌检测方法，其特征在于，包括如下步骤：

（1）数据集构建：收集侧方位视频桩采集的含有倾斜、畸变车牌的图像构建数据集，数据集中的车牌图像需标注车牌位置，车牌位置为通过车牌四个顶点的位置得到对应车牌的水平矩形框的坐标，并将数据集划分为训练集、验证集和测试集；

（2）深度卷积特征提取：先对图片的尺寸和数值范围进行初始化处理，然后将处理后的图像输入到卷积神经网络中进行卷积特征提取，卷积神经网络的主干网络使用Mobilenet作为特征提取网络，在Mobilenet之后添加特征金字塔网络，特征金字塔网络针对Mobilenet里面形成的多尺度特征进行强化利用获得表达力更强包含多尺度车牌信息的多尺度车牌卷积特征图集合；

（3）生成包含任意形变车牌的候选框：将步骤（2）得到的多尺度车牌卷积特征图集合输入到多尺度空洞卷积联合卷积模块进一步提取特征，得到车牌像素的分类概率和距离场，其中距离场是在每个像素点预测的一个值，这个值是像素与方向场对应的向量的值进行归一化后的值，距离场用于车牌区域的判断；

（4）车牌区域的进一步确认：先将步骤（3）得到的距离场中值大于0.5的区域作为车牌的候选区域，再利用分类概率大于0.5的区域结合判断该区域是否为车牌区域，通过两者取交集得到车牌区域；

（5）车牌区域的矫正：选取步骤（4）中得到的车牌区域的外接矩形的四个顶点作为车牌矫正的控制点，将控制点位置在特征图的特征向量输入图卷积神经网络进行矫正得到矫正后的车牌坐标，再将矫正后的车牌坐标与预设尺寸的车牌坐标进行仿射变换，通过两者的坐标仿射变换计算出仿射矩阵，然后将仿射矩阵作用于原始图像中通过坐标裁剪出来的车牌，获得检测并矫正后的车牌图像；

（6）训练网络结构，得到训练好的模型参数；先将数据集中训练集的彩色图像进行预处理得到尺寸为512×512的图像，按照批次尺寸依次输入到网络中，初始车牌区域的神经网络采用Focal损失计算预测类别和真实类别的误差，采用Smooth L1损失来计算网络预测的车牌位置与真实的车牌位置的误差，通过反向传播更新参数，经过设定次数完整训练集训练迭代后，保存结果最好的模型参数，作为最终模型；

（7）利用网络输出车牌检测结果：将数据集中的图像输入步骤（6）得到的模型中，得到初始的车牌区域和矫正后的车牌顶点坐标，以矫正后的顶点坐标对车牌进行矫正得到能够进行识别的车牌区域，输出车牌检测结果。

2.根据权利要求1所述任意倾斜角度的车牌检测方法，其特征在于，步骤（3）所述多尺度空洞卷积联合卷积模块包含三个分支，其膨胀系数分别为1、2和4。

3.根据权利要求2所述任意倾斜角度的车牌检测方法，其特征在于，步骤（4）所述分类概率是图像区域是否为车牌的概率。

4.根据权利要求3所述任意倾斜角度的车牌检测方法，其特征在于，步骤（5）所述图卷积神经网络采用四层图卷积层，后面接一个全连接层用于输出车牌顶点位置矫正的偏移量。