[发明专利]一种基于级联卷积神经网络的道线检测方法

权利要求书

1.一种基于级联卷积神经网络的道线检测方法，级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络，其特征在于，该方法包括以下步骤：

步骤一:以预设的水平和垂直方向的步长扫描待检测图像，在每个扫描位置以多个尺度提取图像块，对所提取的图像块作缩放处理，使其具有与第一级卷积神经网络输入层相同的尺寸，将缩放后的图像块输入到第一级卷积神经网络，由第一级卷积神经网络的输出层得到图像块所属类别的标号和相应的概率；本步骤中图像块所属类别分成道线标记块和非道线标记块两类；

步骤二:在被第一级卷积神经网络判定包含道线标记的扫描位置，以多个偏移和尺度提取图像块，对所提取的图像块作缩放处理，使其具有与第二级卷积神经网络输入层相同的尺寸，将缩放后的图像块输入到第二级卷积神经网络，由第二级卷积神经网络的输出层得到图像块所属的类别标号以及概率；本步骤中图像块所属类别分成包含道线标记的图像块和不包含道线标记的图像块，且包含道线标记的图像块还分为多个类别，每个类别代表道线在图像块中的不同方向；

步骤三:若在扫描位置(x,y)，对所有的偏移和尺度所提取的图像块，第二级卷积神经网络的输出层都标记为不包含道线标记的图像块，则在后续的Hough变换过程中忽略该扫描位置；若只有一个图像块被判定为道线标记块，则计算该块的中心位置坐标，记录输出的类别标号，用于后续的Hough变换过程；若有多个图像块被判定为道线标记块，则取具有最大概率值的块，计算该块的中心位置坐标，记录输出的类别标号；

步骤四:由级联卷积神经网络检测所得的所有道线标记块的中心位置坐标和所属类别标号通过Hough变换算法确定道线；

步骤一中所述的第一级卷积神经网络是一个二类分类器，用于训练该分类器的样本集包含正样本和负样本，正样本是一个矩形的图像块，道线标记占据图像块的中间部分；负样本为不包含道线标记区域的图像块；

步骤二或步骤三中所述的第二级卷积神经网络是一个多类分类器，用于训练该分类器的样本集包含道线标记块和非道线标记块，以人工的方式标注道线标记的四边形区域，记连接四边形上、下两条边的中点所得的直线与X轴的夹角为α，K为一个预设的正整数，将α的取值范围划分成K个区间，其中的第n个区间对应的α取值范围为：

[nπ/K,(n+1)π/K)

训练样本集共包含K+1类样本，第0到K-1类样本为包含道线标记的样本，其中的第n类样本所包含的道线标记其夹角α的值落在第n个区间；第K类样本为不包含道线标记的图像块；

步骤一中所述在每个扫描位置以多个尺度提取图像块，其中：设(x,y)为扫描位置坐标，记提取的图像块为I(x,y,w/s₁,h/s₁)，代表以(x,y)为左上角坐标，w/s₁和h/s₁分别为宽和高的一个矩形图像区域，其中w和h是预设的基准窗口宽和高，s₁是预设的第一级卷积神经网络的尺度系数；

步骤二中所述以多个偏移和尺度提取图像块，设(x,y)为扫描位置坐标，记提取的图像块为I(x-δ_x,y-δ_y,w/s_1ms₂,h/s_1ms₂)，其中w和h分别是预设的基准窗口宽和高，δ_x和δ_y分别为X和Y方向的偏移；s_1m是步骤一中以多个尺度提取的图像块中，被第一级卷积神经网络识别为道线标记块且具有最大概率值的图像块所对应的尺度；s₂是预设的第二级卷积神经网络的尺度系数；

所述的第一级或第二级卷积神经网络包括三个卷积层C1、C3和C5，二个池化层P2和P4、一个ReLU激活层R6、一个全连接层F7和一个用于分类的Softmax层；

所述的第一级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过6个5×5的卷积核对输入图像进行卷积运算，产生6个24×24大小的特征图；池化层P2对卷积层C1的特征图的每个2×2区域进行降采样，且取区域内的最大值作为池化层P2特征图对应单元的值，产生6个12×12特征图；卷积层C3包含16个5×5的卷积核，每个卷积核包含多个卷积模板，由这些模板与池化层P2的特征图进行卷积运算产生16个8×8的特征图；池化层P4将卷积层C3的特征图降采样为4×4的特征图；卷积层C5有84个4×4大小的卷积核，每个神经元与池化层P4的全部16个4×4的邻域相连，产生84个1×1的特征图；ReLU激活层R6使用修正线性单元作为激活函数；全连接层F7包含2个神经元，每个神经元与上一层的神经元进行全连接；Softmax层包含二个神经元，分别是输入图像在道线标记块和非道线标记块二个分类上的概率；

所述的第二级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过20个5×5的卷积核对输入图像进行卷积运算，产生20个24×24大小的特征图；池化层P2将产生20个12×12大小的特征图；卷积层C3包含50个5×5的卷积核，产生50个8×8大小的特征图；池化层P4将卷积层C3的8×8的特征图降采样为4×4的特征图；卷积层C5有500个4×4大小的卷积核，每个神经元与池化层P4的全部50个4×4的邻域相连，产生500个1×1的特征图；ReLU激活层R6产生与卷积层C5同样数目的神经元；全连接层F7包含的神经元的数目等于用于训练第二级卷积神经网络的样本类别数，每个神经元与上一层的神经元进行全连接；Softmax层包含的神经元数目等于全连接层的神经元数目，分别输出图像块在每一个分类上的概率；

步骤四中所述由级联卷积神经网络检测所得的所有道线标记块的中心位置坐标和所属类别标号通过Hough变换算法确定道线，包括：

设r为坐标原点到道线所在直线的垂线长度，θ为所述垂线与X轴的夹角，道线所在直线上所有的点(x,y)满足如下的方程：

r＝xcosθ+ysinθ

由第二级卷积神经网络检测所得的每个道线标记块的中心坐标按上述公式映射成r-θ平面的一条曲线；根据第二级卷积神经网络输出的标号值确定θ的取值范围，以θ为自变量计算对应的r值；

由级联卷积神经网络检测所得的所有道线标记块的中心坐标被映射成r-θ平面中的多条曲线，由于图像平面中同一条直线上的点有相同的r和θ值，所以这些曲线将在r-θ平面中交于一点，通过检测r-θ平面中的极大值点，得到直线的r和θ值，由此确定与直线对应的道线；

步骤一中，若对所有的尺度，在扫描位置(x,y)所提取的图像块都被判定为非道线标记块，则后续的处理过程将忽略该扫描位置；若有一个或多于一个尺度的图像块被第一级卷积神经网络判定为道线标记块，则记录具有最高概率值的图像块所对应的尺度为s_1m，然后进行步骤二。