[发明专利]用于自动驾驶的全天候物体识别与车道线检测方法

说明书

本发明公开了一种用于自动驾驶的全天候物体识别与车道线检测方法，包括收集样本图片，构建训练数据库步骤；图像数据集标注步骤；基于训练数据库，构建卷积神经网络步骤；训练模型步骤；模型测试步骤；整合物体识别子网络与车道线分割子网络的结果，并对结果进行筛选，去除重复检测结果，最终得到当前图像中物体的类别及其矩形框坐标和车道线坐标的步骤。本发明创新性的采用单个深度学习模型，同时进行物体识别和车道线检测，该模型包括特征提取子网络、物体识别子网络和车道线分割子网络，特征提取子网络被另外两个子网络公用，该发明的优点在于结合了检测与分割的优势，将二者融合，以减少重复提取特征，减少模型的计算量。

技术领域

本发明涉及一种用于自动驾驶的全天候物体识别与车道线检测方法。

背景技术

随着深度学习技术的发展，基于此技术的应用越来越多，特别是在自动驾驶领域，主要应用包括：感知、融合、决策等。但现有的深自动驾驶的视觉感知模块的深度学习模型只能单独检测物体或者车道线，当需要同时检查物体或车道线时，需要两个模型，不仅效率低，而且消耗较多的计算资源。

发明内容

为了克服上述缺陷，本发明提供了一种用于自动驾驶的全天候物体识别与车道线检测方法，采用一个模型就能同时进行物体识别和车道线检测，消耗更少的计算资源。

本发明为了解决其技术问题所采用的技术方案是：

一种用于自动驾驶的全天候物体识别与车道线检测方法，包括以下步骤：

步骤1，收集样本图片，构建训练数据库：将测试车辆在不同道路场景中行驶，并用近红外摄像头采集测试车辆行驶过程中的图像数据，至少收集20000张不同场景和物体的图片保存以构建训练数据库；

步骤2，图像数据集标注：将训练数据库中的图片进行人工标注，标注类型分为两类，第一类为矩形框标注，标注的类别有十种，包括：人、汽车、公共汽车、卡车、自行车、摩托车、骑车的人、交通标志、交通信号灯、障碍物，每个物体使用一个矩形框；第二类是车道线标注，使用多边形标注方式，一共标注4条车道线，分别为：车辆当前所在车道的左、右两条车道线，左边相邻车道的左侧车道线和右边相邻车道的右侧车道线；如果车道线被大量遮挡或者不存在时，则不需要标注该条车道线；

步骤3，基于训练数据库，构建卷积神经网络：将步骤2人工标注后的图片作为原始图片，该原始图片首先进入特征提取子网络，再将特征提取子网络的输出分别输入物体识别子网络和车道线分割子网络，物体识别子网络的输出为物体的类别及其所在的矩形框坐标，车道线分割子网络的输出为每个像素点的类别；

步骤4，训练模型：首先训练物体识别子网络，一共迭代20000-80000次，再训练车道线分割子网络20000-80000次，如此再重复一次，交替训练，得到最终训练的模型并保存；

步骤5，模型测试：使用近红外摄像头采集图像，并将图像输入训练好的特征提取子网路，该特征提取子网路的输出被称为特征图，先将特征图送入物体识别子网络，得到当前图像的物体识别结果；再将该特征图送入车道线分割子网络，得到车道线分割结果；

步骤6，整合物体识别子网络与车道线分割子网络的结果，并对结果进行筛选，去除重复检测结果，最终得到当前图像中物体的类别及其矩形框坐标和车道线坐标。

作为本发明的进一步改进，在所述步骤1前，先在测试车辆上安装近红外摄像头，该近红外摄像头包括激光发射装置和近红外成像装置，将激光发射装置安装在测试车辆的大灯位置，近红外成像装置安装在测试车辆的前挡风玻璃中间区域。

作为本发明的进一步改进，所述步骤5中，所述特征提取子网络先将输入图像归一化为448x448大小，然后使用13个卷积层和5个池化层对图像进行特征编码，输出特征图大小为14x14x1024。