[发明专利]一种基于混合模型的交通信号灯识别方法及系统

说明书

本发明提供一种基于混合模型的交通信号灯识别方法及系统，其中方法包括输入交通场景图像，还包括以下步骤：标注数据及模型训练利用“ICNet”获取图像中的语义区域信息，去除掉错检的信号灯位置；训练基于卷积神经网络的交通信号灯细分类模型；输出检测结果。本发明提出一种基于混合模型的交通信号灯识别方法及系统，首先利用交通信号灯定位模型确定交通信号灯在交通场景图像中的位置信息，再利用语义分割模型排除掉一些误判的交通信号灯区域，得到准确的交通信号灯定位信息，利用卷积神经网络对定位得到的图像区域进行识别分类，最后根据信号灯的判别颜色类型(红、黄、绿)细分割出交通信号灯亮灯的区域。

技术领域

本发明涉及图像视觉的技术领域，特别是一种基于混合模型的交通信号灯识别方法及系统。

背景技术

道路环境感知是影响车辆驾驶的重要因素，其中交通信号灯能够使车辆在十字路口有序、安全通行，大幅度提高路口的通行效率。因此，准确高效的信号灯识别系统是智能车辆环境感知不可或缺的组成部分。国内外学者已进行了多年交通信号灯识别的研究，取得不少进展及成果。

已有的交通信号灯的识别方法主要分为基于图像处理的方法和基于网络信息传输的方法两类。基于图像处理的方法通常是使用摄像头采集车辆前方的视频图像，然后依靠颜色、形状等信息检测感兴趣区域并提取特征进行类别判定，从而得到交通信号灯的状况。根据交通信号灯的特征属性，信号灯的检测可以分为基于颜色空间的检测方法、基于形状特征的检测方法以及其他一些综合类方法。基于颜色空间检测的算法实时性较好，是目前交通信号灯检测方法中采用较多的方法之一。此种方法对于环境对比强烈、颜色明显的图像能取得比较好的结果，然而单单依靠颜色信息无法应对复杂背景下的信号灯检测。形状检测方法能克服颜色模糊、光照不均匀等问题的影响，但若复杂背景下存在形状相似的干扰物，则会导致信号灯检测的失败。另有一些研究方法将颜色和形状综合考虑。相比于单独利用某种特征，此种方式能进一步减少识别错误率，但在夜晚、恶劣天气等情况下仍无法达到系统的实时性和鲁棒性要求。

公开号为CN108764216A的发明专利公开了一种基于视觉的交通信号灯识别方法及装置，其中，识别方法包括三步，第一步判定交通信号灯类型，第二步图像预处理，第三步深度学习识别模型。该方法提及的交通信号灯识别方法，输入的图像是交通信号灯局部区域图像，再通过阈值判断是什么类型的信号灯(横、竖)，然后经验阈值进行分割，最后再对分割后的图像进行交通信号类别的识别。该方法依赖于经验阈值，很难在实际应用中实施，且该方法没有提及如何对交通信号灯区域进行定位这一关键步骤，更增加了对最后识别结果的不确定性。

发明内容

为了解决上述的技术问题，本发明提出一种基于混合模型的交通信号灯识别方法及系统，首先利用交通信号灯定位模型确定交通信号灯在交通场景图像中的位置信息，再利用语义分割模型排除掉一些误判的交通信号灯区域，得到准确的交通信号灯定位信息，利用卷积神经网络对定位得到的图像区域进行识别分类，最后根据信号灯的判别颜色类型(红、黄、绿)细分割出交通信号灯亮灯的区域。本发明解决交通信号灯识别过程中信号灯的定位问题，通过语义信息解决了周围环境因素的干扰。

本发明的第一目的是提供一种基于混合模型的交通信号灯识别方法，包括输入交通场景图像，还包括以下步骤：

步骤1：标注数据及模型训练；

步骤2：利用“ICNet”获取图像中的语义区域信息，去除掉错检的信号灯位置；

步骤3：训练基于卷积神经网络的交通信号灯细分类模型；

步骤4：输出检测结果。

优选的是，所述模型训练的过程包括以下步骤：

步骤11：用ResNet-50模型初始化RPN网络，然后训练所述RPN网络；