[发明专利]一种车牌分类方法、系统、终端设备及计算机程序

说明书

本发明公开了一种车牌分类方法、系统、终端设备及计算机程序，该方法包括获取车辆图像；对车辆图像进行检测，以检测出车辆图像中是否包含有车牌位置区域；当检测出车辆图像中包含有车牌位置区域时，则对车牌位置区域的车牌位置和分类信息做出预分类，以预分类出车牌位置区域是否悬挂有车牌；当车牌位置区域悬挂有车牌时，则采用车牌分类器训练模型来根据所述车牌位置区域中的字符数量来判断出所述车牌位置区域中所悬挂车牌是否被遮挡。本车牌分类方法通过对所获取到车辆图像进行多次的检测判断，首先对车牌的位置和分类信息做出预分类，再对预分类后的图像通过采用字符数量的方式进行判断，从而可以准确地判断出车辆图像中车牌的遮挡情况。

技术领域

本发明涉及计算机视觉领域，具体涉及一种车牌分类方法、系统、终端设备及计算机程序。

背景技术

车牌的检测与分类一直以来是智能交通系统的重要组成部分，可以适用于各种环境下检测车辆号牌方面的违法行为，之前相关的方法都是相对传统的方法，由于这几年来机器学习(如RCNN等深度神经网络)迅速发展，通过在很多领域进行的尝试和改进，这些方法都表现出了很好的性能，然而由于车牌遮挡部分地区的相似性和拍摄角度等的影响，比如半遮挡车牌和正常车牌在未遮挡区域极大的相似度，全遮挡车牌遮挡物品的复杂性，我们还需要采取一定的措施来减少误检和误分类，提高我们的分类性能。

在以前的检测方法中，传统目标检测占据了很大的比重，这些检测方法一般分为三个阶段：首先，通过选择性搜索等办法在给定的图像上选择一些候选的区域，然后通过卷积网络对这些区域提取相应的特征，比如hog边缘特征等等，最后利用svm等分类器进行训练并最后对实际图片进行分类。几乎所有的传统方法都有两个非常重要的缺点：一是在通过选择性搜索选择候选区域时，由于这种策略没有针对性，时间复杂度很高，计算的结果没有复用，导致检测速度变得很慢，二是特征是由人为定制的，对于环境的变化和复杂的车牌内容没有很好的鲁棒性，实际使用体验与预期结果可能产生很大的偏差

而随着近年来深度神经网络的发展，深度学习的目标检测算法其较快的速度和良好的鲁棒性受到了极大的关注，因此有了很快的发展。其中又分为one stage和two stage两大类，two stage以R-CNN(Region-based Convolutional Neural Network)(RossB.Girshick,Jeff Donahue,Trevor Darrell,and Jitendra Malik.2014.Rich FeatureHierarchies for Accurate Object Detection and Semantic Segmentation.In CVPR’14Proceedings of the2014IEEE Conference on Computer Vision and PatternRecognition.580–587.)为初始。经过SPPnet(Spatial Pyramid Pooling in DeepConvolutional Networks for Visual Recognition)---Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun和FAST R-CNN的发展，最后以Faster R-CNN(Shaoqing Ren,Kaiming He,Ross B.Girshick,and Jian Sun.2015.Faster R-CNN:towards real-timeobject detection with region proposal networks.In NIPS’15Proceedings of the28th International Conference on Neural Information Processing Systems-Volume1,Vol.2015.91–99.)为代表。Faster R-CNN使用RPN(Region Proposal Networks)网络替代了之前的selective search算法来在图像中提取候选框，RPN的核心思想是使用卷积神经网络并引入了anchor的思想，直接产生Region proposal候选框，大大提高了速度，然后借鉴FAST R-CNN的思想使用multitask的损失函数，将位置预测和类别分类统一为同一个回归任务，并学习了SPP-net的思想使用了ROI pooling层，将目标检测的三个阶段利用深度神经网络来完成，并统一为一个两阶段的端到端检测：阶段一为ROI(感兴趣区域)提取，第二个阶段为对ROI区域进行检测与分类。One stage则以YOLO，SSD(Single ShotMultiBox Detector)(Wei Liu,Dragomir Anguelov,Dumitru Erhan,Christian Szegedy,Scott E.Reed,Cheng-Yang Fu,and Alexander C.Berg.2016.SSD:Single Shot MultiBoxDetector.european conference on computer vision(2016),21–37.)为代表，使用端到端网络直接预测/回归目标的边界框，简化了整个目标检测计算复杂度较小，而且整个过程可以使用GPU加速。速度提升很大，可以达到实时，利用anchor的思想对图片直接检测分类，而不用通过RPN挑选候选区域。但是SSD利用多尺度特征来进行检测，没有充分利用到高层特征图的信息，其实这对车牌这种小目标的检测是非常重要的，为了解决这个问题，有人提出了FPN(Feature Pyramid Networks)和DSSD(Deconvolutional Single Shot Detector)的方法，能结合利用语义强大的低层特征和高层特征