[发明专利]基于位置相关的卷积与Fire模型的红绿灯检测方法

说明书

本发明提供了一种基于位置相关的卷积与Fire模型的红绿灯检测方法。该方法采用串联多个Fire模型作为主干卷积网络FireNet，在FireNet最后一层特征图后面添加位置相关的卷积层，并对网络进行训练，利用训练好的网络进行红绿灯检测。由于Fire模型的参数少、运行空间需求低，更加有利于在嵌入式设备上运行；FireNet作为卷积网络具有更强大的特征表达能力，可以充分挖掘不同场景中红绿灯的信息，得到更加准确的特征表达；在FireNet最后一层特征图后面添加位置相关的卷积层，可以提高定位的精确度，有效地检测较小的和多种类别的红绿灯。

技术领域

本发明属计算机视觉、物体检测技术领域，具体涉及一种基于位置相关的卷积与Fire模型的红绿灯检测方法。

背景技术

车辆行驶过程中能够准确，快速地确定前方的红绿灯的位置和状态是高级辅助驾驶和无人驾驶中一种重要的技术。然而由于真实交通场景的复杂，如剧烈变化的光照、天气、遮挡等因素的影响，以及成像设备的分辨率差异等问题，使得真实场景中的红绿灯的检测比较困难。随着深度学习的流行，其在目标检测，图像识别，图像分割等多个计算机视觉领域都取得令人震惊的效果。将深度学习的方法应用在红绿灯检测上能够较好的处理上述存在的问题。目前，对于红绿灯的检测方法有三大类：

第一种是基于图像处理的方法。该方法通过阈值分割，形态学变换等操作对图像进行处理，得到图片中感兴趣的物体区域，然后通过特定的先验知识，如区域连通性、长宽比、形状、相对位置等，处理这些区域，层层筛选，最后得到的就是红绿灯所在的区域，通过设定颜色阈值或利用特殊的颜色空间判断出红绿灯的颜色。R.de Charette等人在文献“R.de Charette and F.Nashashibi,Real time visual traffic lights recognitionbased on Spot Light Detection and adaptive traffic lights templates,IEEEIntelligent Vehicles Symposium,pp.358-363,2009”中提出了一种红绿灯检测的方法，该方法通过图像形态学变换，阈值分割，得到物体候选区域，然后利用外观比来筛选候选区域，最后通过模板匹配来获得红绿灯的状态。其不足之处是无法适应多变的场景，阈值过于敏感，不够鲁棒。

第二种是基于地图定位的方法，通过准确的GPS测量和人工标注的红绿灯信息，得到更加准确地红绿灯先验知识，在接近红绿灯的时候，利用几何变换得到物体的候选区域，然后在候选区域上进行分类。V.John等人在文献“V.John,K.Yoneda,Z.Liu,and S.Mita,Saliency Map Generation by the Convolutional Neural Network for Real-TimeTraffic Light Detection Using Template Matching.IEEE Trans.ComputationalImaging,vol.1,no.3,pp.159-173,Sept.2015”中提出通过GPS生成离线的显著性地图，利用车载相机参数在接近红绿灯的时候，通过三角法获得红绿灯出现的区域，接着采用卷积神经网络和模板匹配来检测红绿灯类别。其不足在于过于依赖传感器设备，同样的效果下，成本过高。

第三种是基于机器学习的方法，如Shi等人在文献“Z.Shi,Z.Zhou,and C.Zhang,Real-Time Traffic Light Detection With Adaptive Background SuppressionFilter.IEEE Trans.Intelligent Transportation Systems,vol.17,no.3,pp.690-700,Oct.2015”中提出通过对训练集中的样本进行学习，能够自适应的进行背景过滤，从而得到感兴趣的目标区域，然后再对得到的结果进行分类。基于机器学习可以有效的避免人工设置多种阈值，通过学习得到的模型，具有更强的泛化能力。深度学习作为机器学习的一个分支，相比于传统的机器学习模型，具有更加强大的学习能力，目前逐渐成为目标检测领域的主流算法。