[发明专利]一种基于深度学习的视频中车辆细粒度分类方法

说明书

本发明公开一种基于深度学习的视频中车辆细粒度分类方法，将车辆外观特征分为不同的显著性等级；将图像分割为相同大小的子图像块，建立卷积神经网络将切割后的子图像块分类；通过提取特征向量的基础网络提取特征图，得到特征向量，并连接到对应分类类别数目的全连接层；将每一张子图的一级特征向量加权平均，得到二级特征向量；将二级特征向量采用加权投票机制得到三级特征向量；建立品牌分类器，每个品牌下建立型号分类器，每个型号下建立年份分类器；将车辆按照品牌‑车型‑年份进行逐层检测得到最终的车型分类结果。本发明将复杂的车牌定位问题简化为一个分类问题，将一个多分类问题分解成几个小分类问题的组合，大大减小网络的分类难度。

技术领域

本发明涉及计算机视觉领域的目标分类方法，从视频中提取车辆特定角度的正面图像，提取车辆的不同显著性部件，在不同的卷积神经网络中对车辆型号进行精细检测。

背景技术

近年来随着深度学习和卷积神经网络的愈加成熟，计算机视觉已经取得了飞跃性的发展。利用计算机视觉进行目标分类，已经不仅仅停留于理论研究，很多技术人员开始将其应用于各个行业的实际生产中。比如在交通安全系统中，深度学习已经在车牌识别中取得了不错的效果，但是在一些特殊场景中，仅仅对车牌进行识别并不能满足实际的需求，还需要精细的检测出车辆的具体型号。例如在停车场中需要通过车辆类型对停车位做更好的规划，公安系统追踪嫌疑车辆时需要通过车辆型号检测套牌车辆等。相比于仅对车辆的类型分类，将对车型进行更精细的识别，如品牌、型号、生产年份等，称为车辆细粒度分类。从Stanford car dataset数据集到CompCars数据集，车型分类已经成为细粒度分类任务的典型代表。

目前已经有很多用于车辆细粒度的分类方法拥有不错的性能。例如文献1(余烨,金强,傅云翔,路强.基于Fg-CarNet的车辆型号精细分类研究.自动化学报,2018,44(X):X-X)中，根据车正脸图像特征分布特点,将其分为上下两部分分别进行特征提取，对网络中间层产生的特征进行两个维度的融合，通过使用小卷积核以及全局均值池化，使在网络分类准确度提高的同时降低了网络模型参数大小在文献2(Fang J,Zhou Y,Yu Y,et al.Fine-Grained Vehicle Model Recognition Using A Coarse-to-Fine Convolutional NeuralNetwork Architecture[J].IEEE Transactions on Intelligent TransportationSystems,2016,PP(99):1-11.)中，提出一种从粗到细的方法，通过卷积神经网络重复定位精炼特征图中对车型识别贡献大的显著性区域，将其与全局特征相融合，提高高显著性区域在分类器中的权重，使网络的精确率大大提高。文献1和文献2都肯定了在车型分类中，提高高显著性部分的权重，对识别准确率有很大的提高。但是，由于车型的种类繁多(仅在CompCars数据集中就有1716种)，除了同种品牌的车辆相似度较高，不同品牌的车辆中也有相似度很高的车型，这对车型的分类增加了巨大的难度(随着分类种类的增多，卷积神经网络中参数的规模也会相应增加，对于网络的设计和收敛，也会更加困难。)，而且随着新车型的大量出现，使网络根据新的目标做出相应的调整也是一个非常棘手的问题。

发明内容

针对上述视频中车辆精细度的检测问题，本发明的目的在于提供一种将复杂的车牌定位问题简化为一个分类问题，将一个多分类问题分解成几个小分类问题的组合，大大减小网络的分类难度的基于深度学习的视频中车辆细粒度分类方法。技术方案如下：

一种基于深度学习的视频中车辆细粒度分类方法，包括以下步骤：

步骤一：将车辆外观特征分为不同的显著性等级：背景为一级显著性部分，车头为三级显著性部分，车辆其他部分为二级显著性部分；

步骤二：将待检测车辆图像分割为相同大小的子图像块，建立卷积神经网络，按上述显著性等级将切割后的子图像块分为：一级显著性子图、二级显著性子图和三级显著性子图；