[发明专利]一种基于序列预测的车道线检测系统、装置和方法

权利要求书

1.一种基于序列预测的车道线检测方法，其特征在于，具体包括以下步骤：

S1，对待检测的图像数据进行归一化操作，得到归一化后的图像，并查找相应的预测关键点序列；

所述步骤S1中，查找相应的预测关键点序列的过程具体为：

对归一化后的图像按单位像素delta纵向划分水平线，用一曲线表示归一化后的图像中的第i条车道线的真值，取曲线与其余每条水平线的交点组成为关键点集合；按顺序从关键点集合中取出纵坐标为（q-1)*delta、（q-2)*delta、…3*delta、2*delta、delta、0的关键点的横坐标组成长度为q的短序列，如果短序列长度未达到q，即表示纵坐标对应的点不存在，则用自定义的数值default表示其横坐标；并在每条短序列的结尾加上自定义的阈值lane_end作为当前短序列的结尾，最终每条车道线对应长度为q+1的短序列；

设待检测的图像数据中单张图片出现车道线的最大值为m，对于单张图片中出现的所有条车道线进行排序，组成长度为（q+1)* 的序列，如果m，则表示m-条车道线缺失，用q个default加上阈值lane_end来表示每一条缺失的车道线；每张图片中的车道线都可以用长度为max_len =（q+1)*m的长序列表示；

在长序列的起始位置加上自定义的阈值seq_start得到归一化后的图像对应的预测关键点序列k；

S2，提取归一化后的图像的特征向量，对归一化后的图像的特征向量进行降维得到降维特征，将该降维特征按高宽维度展开，得到图像序列特征；

S3，基于降维特征的维度计算图像位置编码，将图像序列特征和图像位置编码相加，再共同进行编码得到编码记忆；

所述步骤S3中，共同进行编码得到编码记忆的过程具体为：将图像序列特征和图像位置编码相加作为输入特征输入由若干层自注意力层组成的编码模块，其中第一层自注意力层的查询矩阵、键矩阵、值矩阵均为输入特征，之后每一层自注意力层的查询矩阵、键矩阵、值矩阵均为前一层的输出特征，每层自注意力层首先基于查询矩阵和键矩阵进行运算，得到自注意力分布，在对自注意力分布归一化后与值矩阵进行运算，得到本层的输出特征；将最后一层自注意力层的输出特征作为编码模块的最终输出，即编码记忆；

S4，对步骤S1得到的预测关键点序列进行特征提取，得到解码序列特征；

S5，获取预测关键点序列的位置编码，对编码记忆、预测关键点序列的位置编码与解码序列特征进行解码，得到待预测关键点的隐状态向量；

S6，将待预测关键点的隐状态向量转化为关键点的坐标。

2.根据权利要求1所述的基于序列预测的车道线检测方法，其特征在于，所述步骤S2具体为：将归一化后的图像输入主干网络，经过预先设置的卷积层，输出大小为C_b* H_b * W_b的特征向量；C_b、H_b、W_b分别表示通道数、高度和宽度；将该特征向量feat_backbone输入一卷积神经网络，其输入通道数为C_b，输出通道数为hidden_dim，得到维度为hidden_dim*H_b * W_b的降维特征featrue； 将降维特征的按高宽两个维度展开，得到长度H_b * W_b的编码序列特征。

3.根据权利要求1所述的基于序列预测的车道线检测方法，其特征在于，所述步骤S3中，基于降维特征的维度计算图像位置编码具体为：对于降维特征高宽方向组成的面上的每个位置，其对应的高宽取值分别为x和y；基于x和y分别计算一个位置编码，编码长度为hidden_dim/2；对于x或者y，其值为奇数时采用正弦函数，偶数位置采用余弦函数，或者其值为偶数时采用正弦函数，奇数位置采用余弦函数，将两个位置编码拼接为长度为hidden_dim的图像位置编码，该图像位置编码尺寸为len_enc*hidden_dim，len_enc表示高宽面上的位置个数，hidden_dim为每个位置的位置编码长度。