[发明专利]基于多级语义信息的车道线检测方法及系统

权利要求书

1.一种基于多级语义信息的车道线检测方法，其特征在于，包括以下步骤：

S1、对车道场景图像中的车道线进行分割，提取图像的低级语义信息，输出基于低级语义信息的车道线掩膜图；

S2、利用图像的消失点、车道线空间信息和长距离依赖信息，训练结合消失点的车道线语义分割网络，得到图像的高级语义信息，并输出基于高级语义信息的车道线掩模图；

S3、将基于高、低级语义信息的车道线掩模图融合，得到基于多级语义信息的车道线分割结果；

所述步骤S2中，所述车道线语义分割网络采用SCNN作为基本网络，首先将获取的车道场景图像作为输入，通过VGG16获取特征图，通过SCNN模块获取空间信息；然后输入带状池化模块获取长距离依赖信息，再通过车道线分割分支预测不同车道线的概率图，通过车道预测分支预测不同车道的存在概率；然后通过消失点回归分支，将其运用于辅助车道线检测，作为一项约束参与网络训练；最后将包括车道线分割分支、车道预测分支、消失点回归分支的三个分支结合，得到基于高级语义信息的车道线掩膜图；

空间信息由向上、向下、向左和向右四个方向上的SCNN模块提取各自提取；首先，SCNN模块将大小为C×H×W的三维张量作为输入，其中C、H和W分别表示通道、行和列的数目；分割后的张量中的第一个切片被送到SCNN模块的卷积层中，其中卷积核的尺寸为C×ω，ω是卷积核宽度；而后，卷积层的输出被添加到下一层，并成为一个新的切片；这个新的切片被送到下一个SCNN模块的卷积层；上述过程一直重复直至最后一个切片更新完成；SCNN模块定义为：

其中，三维核张量K的元素为K_m,i,n，表示最后一个切片通道m中的元素和当前切片通道i中的元素之间的权重，两个元素之间有n列的偏移量；输入三维张量X的元素为X_i,j,k，其中i、j和k分别表示通道、行和列的索引；其中f是非线性激活函数ReLU；带有上标'的X是更新后的元素，SCNN模块四个不同方向的输出分别表示为：X'_U、X'_D、X'_R和X'_L；

在提取空间信息后，通过带状池化模块捕捉远处像素来获取长距离依赖信息；带状池化模块输入为二维张量x_i,j∈R^H×W，通过水平方向1×W的带状池化模块与垂直方向上H×1的带状池化模块，其中水平方向上的池化结果为：

与之相似的垂直方向上的池化结果为：

将水平方向与垂直方向的池化结合：

带状池化模块通过利用具有不同内核形状的池化操作来收集内容丰富的上下文信息，以探查具有复杂场景的图像。

2.根据权利要求1所述的基于多级语义信息的车道线检测方法，其特征在于，所述步骤S1中，提取图像的低级语义信息的方法为：从车道场景图像中选择感兴趣区域，然后对感兴趣区域进行图像预处理，再对预处理后的图像先后进行车道线标记粗提取及车道线标记精提取，得到图像的低级语义信息。

3.根据权利要求2所述的基于多级语义信息的车道线检测方法，其特征在于，感兴趣区域的位置设置为：1/2hI4/5h，其中h表示原图像的高度，I表示感兴趣区域。