[发明专利]一种任意倾斜角度的车牌检测方法

说明书

本发明属于车牌检测技术，涉及一种任意倾斜角度的车牌检测方法，通过主干网络对采集的数据集提取特征后送入特征金字塔提取特征，提取后的特征送入多尺度空洞卷积生成车牌分类概率和距离场，通过车牌分类概率和距离场联合进行车牌初始区域的确定，然后选取车牌初始区域的外切矩形的四个顶点作为车牌校正的控制点，将控制点处的特征信息送入图卷积神经网络进行矫正，利用矫正后的车牌顶点坐标来矫正车牌得到利于后续识别的矩形车牌；利用图卷积神经网络进行车牌校正用来解决倾斜车牌的检测和矫正问题，不仅仅可以用于侧方位车牌检测，还可以用于高位和低位摄像头采集图像的车牌识别问题。

技术领域

本发明属于车牌检测技术，涉及一种任意倾斜角度的车牌检测方法，可以对任意角度的车牌进行检测识别。

背景技术

随着人工智能、物联网、5G等技术的迅速发展，智慧交通在智慧城市中发挥了重要作用，而车牌检测识别技术在智慧交通体系中扮演了重要角色。正向的车牌检测与识别技术已经比较成熟，而侧方位的车牌检测技术由于受到车牌畸变、旋转以及光线不足等复杂场景的时候表现的较差。

目前，针对侧方位车牌检测技术，现有技术中通常采用通用的物体检测算法来检测车牌，然后对检测的车牌进行识别，但是由于车牌倾斜以及光线等的影响，单靠物体检测的方法不能很有效的检测出车牌，因此需要有更好的技术来辅助车牌的检测，而且检测的车牌往往是倾斜的，给后续识别带来很多的不便，因此需要在检测出的车牌的基础上进行矫正，使得车牌识别率能够真正满足实际智能交通的应用场景。

由此可见，针对侧方位停车场景，现有的车牌检测技术中存在检测精度不高的技术问题，急需更有效的方法进行车牌的检测和矫正。

发明内容

本发明的目的在于克服现有车牌检测技术对于侧方位任意旋转角度的车牌检测能力不足的缺陷，设计提供一种利用图卷积网络校正的任意倾斜角度的车牌检测方法，能够高效的实现车牌检测和矫正。

为实现上述目的，本发明对任意倾斜角度的车牌进行检测的具体过程为：

（1）数据集构建：收集侧方位视频桩采集的含有倾斜、畸变车牌的图像构建数据集，数据集中的车牌图像需标注车牌的位置，并将数据集划分为训练集、验证集和测试集；

（2）深度卷积特征提取：先对图片的尺寸和数值范围进行初始化处理，然后将处理后的图像输入到卷积神经网络中进行卷积特征提取得到多尺度车牌卷积特征图集合；

（3）生成包含任意形变车牌的候选框：将步骤（2）得到的多尺度车牌卷积特征图集合输入到多尺度空洞卷积联合卷积模块进一步提取特征，得到车牌像素的分类概率和距离场D；

（4）车牌区域的进一步确认：先将步骤（3）得到的距离场中值大于0.5的区域作为车牌的候选区域，再利用分类概率大于0.5的区域结合判断该区域是否为车牌区域，通过两者取交集得到车牌区域；

（5）车牌区域的矫正：选取步骤（4）中得到的车牌区域的外接矩形的四个顶点作为车牌矫正的控制点，将控制点位置在特征图的特征向量输入图卷积神经网络（GCN）进行矫正得到矫正后的车牌坐标，再将矫正后的车牌坐标与预设尺寸的车牌坐标进行仿射变换，通过两者的坐标仿射变换计算出仿射矩阵，然后将仿射矩阵作用于原始图像中通过坐标裁剪出来的车牌，获得检测并矫正后的车牌图像；

（6）训练网络结构，得到训练好的模型参数；先将数据集中训练集的彩色图像进行预处理，按照批次尺寸依次输入到网络中，初始车牌区域的神经网络采用Focal损失计算预测类别和真实类别的误差，采用Smooth L1损失来计算网络预测的车牌位置与真实的车牌位置的误差，通过反向传播更新参数，经过设定次数完整训练集训练迭代后，保存结果最好的模型参数，作为最终模型；

（7）利用网络输出车牌检测结果：将数据集中的图像输入步骤（6）得到的模型中，得到初始的车牌区域和矫正后的车牌顶点坐标，以矫正后的顶点坐标对车牌进行矫正得到能够进行识别的车牌区域，输出车牌检测结果。