[发明专利]基于结构信息的车道线检测方法

权利要求书

1.基于结构信息的车道线检测方法，其特征在于，包括以下步骤：

1)数据获取

训练模型使用公开的车道线检测数据集提供的图像数据和车道线点标注，并将这些数据划分为训练集、验证集和测试集；

2)数据处理

车道线检测数据集中的车道线点，用多项式曲线拟合成指定宽度的线，然后用作模型训练的标签，最后标签和图像经过处理后输入到模型中，包括以下步骤：

2.1)将输入图像和标签的长随机缩放到[m₁,m₂]范围内，宽随机缩放到[n₁,n₂]范围内，其中m₁和m₂分别表示图像的长度且m₁≠m₂，n₁和n₂分别表示图像的宽度且n₁≠n₂；

2.2)将缩放后的图像和标签以0.5的概率水平翻转；

2.3)将翻转后的图像和标签在[-0.2п,0.2п]角度范围内随机旋转；

2.4)从翻转后的图像和标签的中心区域剪裁出m×n大小的图像，其中m和n分别表示剪裁图像的长度和宽度；

2.5)将剪裁后的图像归一化到[-1,1]的范围内；

3)模型构建

该模型是编码-解码结构，编码部分包括一个特征提取网络和车道线结构信息提取网络，后者包含多个语义信息引导的注意力机制模块和多尺度可变形卷积模块，解码部分用解码网络恢复编码部分输出特征图的分辨率，包括以下步骤：

3.1)构造特征提取网络

所述特征提取网络能够是任意分类网络的特征提取层，它由串联的下采样层组成，其中包括卷积层、批量正则化层、非线性激活函数层以及池化层；在特征提取层中，随着网络深度的增加，特征图的分辨率下降，特征图的感受野增加，根据特征图的分辨率大小将网络划分为不同“stage”，高stage的特征图分辨率小、感受野大、语义信息强，但细节信息不完整，低stage的特征图分辨率大、感受野小、语义信息不足，但细节丰富，它们互补的特征共同使用，有助于更准确的定位和检测车道线；

3.2)构造语义信息引导的注意力机制模块

所述语义信息引导的注意力机制模块作用在相邻stage的特征图上，用高stage特征图中的语义信息指导低stage特征图的学习；复杂道路场景中，车道线区域占图像的比例小，使用低stage特征图时会引入噪声信息，该注意力机制模块利用高stage特征图强语义信息的特点，帮助增强低stage特征图中对车道线区域响应的部分，抑制对非车道线区域响应的部分；考虑到高stage特征图中存在冗余，它的部分通道未被激活，该注意力机制模块先对高stage特征图进行选择，再用选择后的高stage特征图引导低层stage，详细流程如下：

高stage特征图依据每个通道全局平均池化后的权重值w选择通道，其中w是一维向量；首先，所有通道按照w值降序排列，然后保留前p％的通道，p为超参；选择后的高stage特征图再用全局平均池化得到一维权重向量v经过1×1的卷积降维后与低stage特征图进行点乘，得到特征调整后的低stage特征图，该特征图输出到步骤3.3)的多尺度可变形卷积模块中；

3.3)构造多尺度可变形卷积模块

所述多尺度可变形卷积模块作用在每个stage上，紧跟注意力机制模块，它的目的是捕获车道线细长而不连续的结构特征；在之前模块中使用的卷积层均为标准卷积层，它们的卷积核为方形，只能学习固定感受野的特征，不适用于车道线细长的结构；该多尺度可变形卷积模块中使用可变形卷积层，它自适应地为每个卷积核学习一个偏移量，并将偏移量加到原有的卷积核上，改变每个卷积核的采样位置，实现卷积核变形；对于车道线，可变形卷积的卷积核接近车道线形状；另外，在不同尺度上使用可变形卷积，能够学习到复杂环境中不同不连续程度车道线的特征；所述多尺度可变形卷积模块的结构具体如下：

它包括多个分支，每个分支用不同尺度的自适应池化层下采样到不同分辨率的图像，然后用3×3的卷积降维和3×3的可变形卷积捕获车道线的结构特征，其中每个卷积层后紧跟批量正则化层和非线性激活函数层；最后所有分支的特征图上采样到输入特征图尺寸，并相加得到输出特征图；

3.4)解码网络

所述解码网络的输入是多尺度可变形卷积模块的输出，它将低分辨率特征图恢复至输入图像大小；解码网络由串联的上采样层组成，其中包括反卷积层、批量正则化层和非线性激活函数层；它首先将高stage特征图上采样2倍，然后和相邻低stage特征图相加，并将得到的特征图作为高stage的特征图和下一个低stage的特征图重复上述过程，直至特征图的分辨率恢复；

4)定义损失函数

损失函数由主损失函数和多个辅助损失函数组成，包括以下步骤：

4.1)定义主损失函数

所述主损失函数是解码网络输出和标签之间的损失，用于优化整个模型；主损失函数是一个带权重的交叉熵损失函数，权重用于平衡车道线区域和非车道线区域的比例不平衡问题，它的公式如下所示：

L＝-y log p-w_b(1-y)log(1-p)

式中，L表示损失函数的值，y代表标签值，其中y∈{0,1}，p表示模型预测的概率值并且p∈[0,1]，w_b表示非车道线区域损失的权重，是一个超参；

4.2)定义辅助损失函数

所述辅助损失函数用于缓解深层神经网络中梯度消失的问题，它使用多尺度可变形卷积的输出特征图，然后将其上采样回原图尺寸，再和标签计算带权重的交叉熵损失；

4.3)定义总损失函数

将步骤4.1)和步骤4.2)中定义的主网络损失函数和辅助损失函数加权组合得到总损失函数；计算总损失过程中，对辅助函数乘以小权重，保证主损失函数的主导地位，使得解码网络的输出结果最优；总损失函数的公式如下所示：

式中，L_overall表示总损失函数值，L_s和L_f分别表式辅助损失函数值和主网络损失函数值且均使用交叉熵损失函数，w_s和w_f分别表示辅助损失函数和主损失函数的权重，s表示不同的stage；

5)模型训练

先初始化模型的参数，再用随机梯度下降方法更新模型参数，并在模型收敛或者达到预设迭代次数后停止训练，包括以下步骤：

5.1)初始化和更新模型参数

使用ImageNet预训练好的ResNet或VGG16模型初始化特征提取网络的参数，并随机初始化模型的其它部分参数；随机初始化服从均值为0，标准差为0.1的高斯分布；训练过程中用随机梯度下降法更新模型参数；

5.2)训练模型

训练模型具体是更新模型的参数，使得模型预测结果不断趋近和真实结果；它是一个迭代的过程，每次迭代过程如下：

从训练集中随机选取任意张图，经过数据处理后输入模型提取特征，模型的输出特征图和标签计算损失，该损失反传播回模型，并用随机梯度下降法更新模型参数；

6)模型验证

模型验证用于验证训练得到的模型的泛化性能，选取验证效果最优的模型用于车道线检测，以得到准确的检测结果，具体如下：

模型验证是用验证集或者测试集的图像，预处理后输入训练过的模型中，计算模型的预测结果和真实结果之间的调和平均值，以衡量模型训练的优劣，最后选取所有训练模型中，验证结果最优的模型用于车道线检测。