[发明专利]用于自动驾驶的全天候物体识别与车道线检测方法

权利要求书

1.一种用于自动驾驶的全天候物体识别与车道线检测方法，其特征在于,包括以下步骤：

步骤1，收集样本图片，构建训练数据库：将测试车辆在不同道路场景中行驶，并用近红外摄像头采集测试车辆行驶过程中的图像数据，至少收集20000张不同场景和物体的图片保存以构建训练数据库；

步骤2，图像数据集标注：将训练数据库中的图片进行人工标注，标注类型分为两类，第一类为矩形框标注，标注的类别有十种，包括：人、汽车、公共汽车、卡车、自行车、摩托车、骑车的人、交通标志、交通信号灯、障碍物，每个物体使用一个矩形框；第二类是车道线标注，使用多边形标注方式，一共标注4条车道线，分别为：车辆当前所在车道的左、右两条车道线，左边相邻车道的左侧车道线和右边相邻车道的右侧车道线；如果车道线被大量遮挡或者不存在时，则不需要标注该条车道线；

步骤3，基于训练数据库，构建卷积神经网络：将步骤2人工标注后的图片作为原始图片，该原始图片首先进入特征提取子网络(101)，再将特征提取子网络的输出分别输入物体识别子网络(103)和车道线分割子网络(104)，物体识别子网络的输出为物体的类别及其所在的矩形框坐标，车道线分割子网络的输出为每个像素点的类别；

步骤4，训练模型：首先利用梯度下降法训练物体识别子网络，一共迭代20000-80000次，再利用梯度下降法训练车道线分割子网络20000-80000次，如此再重复一次，交替训练，得到最终训练的模型并保存，该模型使用单个GPU，并能够达到25帧/秒；

步骤5，模型测试：使用近红外摄像头采集图像，并将图像输入训练好的特征提取子网络 (101)，所述特征提取子网络先将输入图像归一化为448x448大小，然后使用13个卷积层和5个池化层对图像进行特征编码，输出特征图(102)大小为14x14x1024；先将特征图送入物体识别子网络(103)，所述物体识别子网络使用3个卷积层，检测的物体类别为10类，最后一个卷积核的个数为(10+5)*3，总的候选框个数为14*14*3＝588个，再使用非极大值抑制算法，将重复检测到的物体去除，得到当前图像的物体识别结果；再将该特征图送入车道线分割子网络(104)，所述车道线分割子网络使用卷积和上采样对特征图进行解码，一共包括13个卷积层和5个上采样层，最后网络输出的大小为448x448x5，其中5表示一共预测五个类别，0表示背景，1、2、3、4分别表示主车所在的车道线的标签，得到车道线分割结果；

步骤6，整合物体识别子网络与车道线分割子网络的结果，并对结果进行筛选，去除重复检测结果，最终得到当前图像中物体的类别及其矩形框坐标和车道线坐标。

2.根据权利要求1所述的用于自动驾驶的全天候物体识别与车道线检测方法，其特征在于：在所述步骤1前，先在测试车辆上安装近红外摄像头，该近红外摄像头包括激光发射装置(2)和近红外成像装置(3)，将激光发射装置(2)安装在测试车辆(1)的大灯位置，近红外成像装置(3)安装在测试车辆(1)的前挡风玻璃中间区域。