[发明专利]车载环境下基于卷积神经网络的车型识别方法

说明书

本发明公开了一种车载环境下基于卷积神经网络的车型识别方法，提出了用于车型识别的语义紧凑双线性池化方法，它将分层标签树和紧凑双线性池化结合在一起，并在CompCars数据集和斯坦福汽车数据集上展现出了优越的性能。通过这种方式，紧凑双线性池化方法在汽车不同级别的语义之间使用语义连接，并且在训练期间使它们相互加强。本发明将softmax损失函数推广到旨在充分利用先验知识的规避损失函数。实验表明，本发明提高了CompCars数据集和斯坦福汽车数据集上的车型识别任务的准确率。

技术领域

本发明涉及基于计算机视觉领域的目标分类方法，主要是基于caffe深度框架和卷积神经网络改进的车型识别方法。

背景技术

深度学习和卷积神经网络（CNN）近年来在公共安全领域取得了令人咂舌的成就。在公安系统中，与汽车相关的任务占所有计算机视觉任务的很大一部分。目前车牌识别已经被广泛用于交通安全系统中，车型识别也已经成为计算机视觉领域中日益流行的任务。2013年，Krause等人发布了车型识别的数据集（斯坦福汽车数据集）。并且在计算机视觉领域中进行了各种研究工作以进行车辆识别。与其他通用对象（如人脸识别和ImageNet分类）的识别或分类相比，车型识别代表了典型的具有挑战性的细粒度识别任务。由于车辆之间存在的视觉差异非常微小，因此类别内的变化非常小。此外，车的不同形态，观察的不同视点和外观使得自动系统（甚至人眼）难以区分车的子类，例如不同品牌的不同型号的车。

目前，已经有很多用于车型的细粒度识别方法，并且在斯坦福汽车数据集上具有相当好的性能。例如，文献1（Xiao Liu, Tian Xia, Jiang Wang, and Yuanqing Lin.2016. Fully Convolutional Attention Localization Networks: EfficientAttention Localization for Fine-Grained Recognition. CoRR abs/1603.06765(2016).）中的FCAN能达到89.1％的准确率，文献2（Tsung-Yu Lin, Aruni Roy Chowdhury,and Subhransu Maji. 2015. Bilinear CNN Models for Fine-Grained VisualRecognition. In 2015 IEEE International Conference on Computer Vision, ICCV2015, Santiago, Chile, December 7-13, 2015. 1449–1457.）中的BCNN能达到91.3％的准确度等。然而，他们都只关注如何定位有差别的区域并将细微的视觉差异表示出来。与其他精细物体不同，车辆具有独特的树形结构：品牌，型号和年份。虽然已有大量关于分层多标签学习的工作研究，但他们使用传统的基本CNN模型，而不是应用细粒度的方法。但是为了提高车型识别的准确性和鲁棒性，分层分类的方法非常值得研究。

发明内容

本发明提出了一种新的可以学习分层多标签的深度神经网络框架，其中主要包括两点创新：1）提出了一种新的神经网络框架，即语义紧凑双线性池化，将文献3（Yang Gao,Oscar Beijbom, Ning Zhang, and Trevor Darrell. 2016. Compact BilinearPooling. In 2016 IEEE Conference on Computer Vision and Pattern Recognition,CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016. 317–326.）中的紧凑双线性池化（CBP）方法与车辆的语义结构相结合，如图2所示。原始BCNN中的CNN分支A和分支B扩展成了三个代表品牌，型号和年份的分支；2）本发明设计了一个可以充分利用先验知识的损失函数，使得品牌分支的结果可以指导型号分支的预测。

发明的技术方案为：

（1）细粒度识别