[发明专利]一种倾斜车牌矫正方法

说明书

本发明公开了一种倾斜车牌矫正方法，属于智能交通技术领域。它通过深度学习进行车牌字符检测，再将所有候选字符矩形框的中心点两两相连构建图谱，接着统计所有经过字符中心点的线段斜率区间分布情况，最后加权计算得到车牌的倾斜角度，并完成倾斜矫正。本发明通过采用上述技术得到的倾斜车牌矫正方法，将倾斜车牌矫正问题转化为目前已经非常成熟的目标检测问题，可以对常见单行车牌与双行车牌进行倾斜矫正，结合传统倾斜车牌矫正方法与深度学习方法，实现优势互补，可靠性更高，且允许车牌字符的漏检与误检，对需要矫正的倾斜车牌具有高鲁棒性。

技术领域

本发明涉及智能交通技术领域，具体涉及一种倾斜车牌矫正方法。

背景技术

在过去二十年里，智慧交通相关技术发展迅速，其中自动车牌识别技术在识别准确率与效率上都取得了重大突破。然而，对传统的三阶段车牌识别和最新的基于深度学习的车牌识别技术而言，倾斜车牌仍旧是棘手的处理对象。倾斜车牌在实际场景中十分普遍，倾斜车牌矫正有助于拓宽车牌识别技术的适用面，增强车牌识别技术的鲁棒性。

寻求一种高效准确的倾斜车牌矫正方法是该领域亟待解决的问题。目前已有的倾斜车牌矫正方法可以分为两类：基于传统技术的方法和基于深度学习的方法。

基于传统技术的方法利用倾斜车牌所具有的特点，计算倾斜角度以进行后续矫正。传统倾斜车牌矫正方法主要包括：基于Hough变换的方法、基于字符检测分析的方法和基于Radon变换的方法。基于Hough变换的方法通过检测车牌的上下与左右边框计算倾斜矫正参数。但是，该类方法需要车牌具有高对比度的边框，实际条件苛刻，不适用大多数场景。基于Radon变换的方法最为普遍，该类方法对车牌图像在固定区间范围内进行Radon变换,并对变换后的结果求一阶导数绝对值的累加和,将累加和的最大值所对应的Radon变换的角度作为倾斜角度。文献(贾晓丹；李文举；王海姣.一种新的基于Radon变换的车牌倾斜校正方法[J].计算机工程与应用,2008,44(3):245-248.)对车牌图像在[-20°,20°]范围内进行Radon变换，有效矫正了倾斜车牌。发明专利(专利号：201510695122.1，名称：一种倾斜车牌识别方法和装置)在固定区间范围内对字符图像进行仿射变换，结合灰度值分析计算各车牌字符的倾斜角度，从而确定一个整体倾斜角度完成倾斜矫正。发明专利(公开号：CN107563330A，名称：一种监控视频中的水平倾斜车牌矫正方法)利用得到的多个字符区域的上边缘中点、中心点、下边缘中点分别拟合得到三条直线，并分别计算三条直线的水平倾斜角度，最后加权计算得到最终的倾斜角度完成倾斜矫正。但是，除了单行车牌，双行车牌在实际中也很普遍，而该方法显然只适用于单行车牌。

传统方法所存在的问题主要是无法从倾斜车牌上准确分割多个字符区域，这为基于Radon变换和基于字符区域分析的方法增大了难度。目前基于深度学习的方法则通过大量数据样本训练得到矫正参数或矫正结果。文献(J.Wang,H.Huang,X.Qian,J.Cao,andY.Dai,“Sequence recognition of Chinese license plates,”Neurocomputing,vol.317,pp.149-158,Nov.2018.)基于深度学习，将空间变换网络(Spatial TransformerNetwork，STN)用于倾斜车牌矫正，通过大量数据样本训练得到矫正结果。文献(L.Xie,T.Ahmad,L.Jin,Y.Liu,and S.Zhang,“A New CNN-Based Method for Multi-DirectionalCar License Plate Detection,”IEEE Trans.Intell.Transp.vol.19,no.2,pp.507-517,Feb.2018.)基于YOLO训练得到一个可以回归出倾斜车牌四边形包络的新网络模型。但是，深度学习需要准备大量的训练样本，且严重依赖训练样本的质量。

综上所述，目前车牌识别结果纠正方法存在着如下不足：1)部分矫正算法适用于单行车牌，但并不适用于双行车牌；2)部分矫正算法需要车牌具有清晰的边界；3)部分矫正算法需要准确检测字符区域；4)基于深度学习的倾斜矫正方法所具有的鲁棒性由训练样本所决定。