[发明专利]一种基于变形平面物体检测网络的大角度车牌检测方法

说明书

本发明公开了一种基于变形平面物体检测网络的大角度车牌检测方法，解决现有车牌检测方法在识别大角度车牌时准确率下降的技术问题。本发明提出的变形平面物体检测网络直接检测车牌的四个角点坐标，然后对车牌图片进行仿射变换，把倾斜的车牌矫正为正角度车牌，最后对矫正后的正角度车牌进行字符识别。本发明提出的变形平面物体检测网络由YOLO方法和STN方法改进而成，同时具备车牌矫正和运行速度快的特性，可以大幅度降低车牌字符识别的难度，有效提高车牌识别在各种非限制场景下的准确率。另外，通过在实际场景应用该车牌检测方法，验证本发明的有效性。

技术领域

本发明涉及计算机视觉和模式识别技术领域，具体涉及一种基于变形平面物体检测网络的大角度车牌检测方法。

背景技术

目前来说，车牌检测是计算机视觉和模式识别领域的热点研究问题之一。而在许多车牌检测任务中，检测出来的车牌往往出现严重倾斜的问题，把这种严重倾斜的车牌称为大角度车牌，严重倾斜的车牌会影响后续的车牌识别，因此如何识别这种大角度车牌已经成为车牌识别领域中的一个重点和难点。

Jaderberg提出的检测方法是将车牌识别分为两部分，首先使用定位取代分割定位每个字符的位置，然后对每个字符进行分类来识别车牌，但是由于该方法检测出来的车牌都是矩形框，并没有做车牌矫正，因此没有从根本上解决车牌识别困难的问题。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于变形平面物体检测网络的大角度车牌检测方法

本发明的目的可以通过采取如下技术方案达到：

一种基于变形平面物体检测网络的大角度车牌检测方法，该变形平面物体检测网络由主干网络和预测网络顺序连接组成，所述的大角度车牌检测方法包括下列步骤：

S1、使用卷积层、池化层、Relu层构造大角度车牌检测的主干网络，作为车牌图像的特征提取器，其中卷积层中卷积核的尺寸为k*k，采用主干网络对输入的车牌图像进行特征提取得到特征图；

S2、构建预测网络，预测网络具有两个并行的卷积层，分别称为第一卷积层和第二卷积层，在所述的第一卷积层内，用2个m*m的卷积核在主干网络输出的特征图上滑动计算得到第一实例特征图，其中m为卷积核的尺寸，将第一实例特征图通过Softmax激活函数，得到置信度特征图；在所述的第二卷积层内，用6个n*n卷积核在主干网络输出的特征图上滑动计算得到第二实例特征图，其中n为卷积核的尺寸，将第二实例特征图通过Linear激活函数，得到仿射特征图，最后将仿射特征图和置信度特征图在通道维度上进行拼接操作，得到预测特征图F_T，其中，所述的预测特征图F_T含有8通道，8通道内数值分别定义为v_i,i＝1～8，其中v₁,v₂分别表示该预测框含有目标的置信度和不含有目标的置信度，v_3～8分别表示仿射矩阵元素，通过在预测网络中设计两个并行的卷积层，将置信度预测与仿射参数预测进行部分解耦，提升预测网络的准确率；

S3、设计损失函数对主干网络和预测网络进行训练；

S4、将所述的预测特征图F_T，以(m,n)点单元为中心，构造四个虚拟角点q_i,i＝1～4，其中m、n分别表示预测特征图F_T中点单元的横坐标和纵坐标，然后对四个虚拟角点进行仿射变换得到目标四个预测角点坐标l_i,i＝1～4；

S5、根据预测角点坐标l_i，求解透射变换方程组，得到单应性矩阵，然后根据单应性矩阵矫正图像，并利用v₁、v₂剔除置信度低的矫正图像，得到最后的检测结果。

进一步地，所述的主干网络具体结构如下：