[发明专利]一种基于棒状像素的交通场景障碍检测与识别方法

权利要求书

1.一种基于棒状像素的交通场景障碍检测与识别方法，包括以下步骤：

A、基于棒状像素对交通场景障碍物进行检测

A1、构建视差空间

通过车载双目立体视觉系统获取包含交通场景的左右两幅图像，然后采用半全局立体匹配算法对包含交通场景的左右两幅图像进行立体匹配，得到包含场景三维信息的视差图；所述的双目立体视觉系统包括安装在汽车上的左右两个摄像机；

A2、地面估计

在交通场景中，将所有的交通元素分为两类平面：一类是地面，用水平平面表示；另一类是车辆、树木和行人这类垂直于地面的物体，用垂直平面表示；对步骤A1得到的视差图进行处理，把视差图中每一行的相同视差值累加起来构建V-视差图；由于处于同一距离的地面在水平方向具有相同的视差值，加之视差图中距离人眼视角越近，视差值越大，所以V-视差图中的地面为一条从左上到右下的倾斜直线；利用Hough直线变换检测V-视差图中的倾斜直线，并映射到视差图中，进而根据V-视差图中得到的倾斜直线方程滤除地面，完成地面估计；V-视差图中的倾斜直线方程如下：

式中，b是双目立体视觉系统中两个摄像机之间的基线距离，d是视差值，f是摄像机焦距，θ是摄像机主光轴方向与地面夹角，v是图像列坐标，h是世界坐标下的垂直距离；

A3、棒状像素提取

首先通过占位网格法计算出图像每一列的自由区域，进而找出地面与障碍物的交点；然后使用隶属度函数对图像每一列上的每个像素进行划分，当隶属度函数值为正时表示障碍物，为负时为除了障碍物以外的背景，进而将障碍物的高度分割出来；计算出每一列的自由区域和高度，直接提取出棒状像素；隶属度函数的公式如下：

式中，M_u,v(d)是视差值d对应的隶属度函数值，u是图像的横坐标，v是图像的列坐标，d是视差值，是图像横坐标下前景物体的视差图，ΔD_u是视差阈值参数；ΔD_u定义如下：

式中，是图像横坐标下前景物体的视差图，f_d是深度z对应的视差，z_u是图像横坐标下对应的深度值，ΔZ_u是图像横坐标下对应的深度值偏差；

A4、检测障碍物

首先对视差图基于棒状像素表示的交通场景的障碍物所在区域的每一列的相同视差值累加起来，构建表示障碍物区域的U视差图，得到障碍物在U视差图中的左右边界的列坐标；然后根据障碍物的高度，标记出障碍物的位置；

B、构建卷积神经网络模型，并对障碍物进行识别

B1、构建卷积神经网络模型

卷积神经网络模型由四部分组成，前三部分为卷积网络，最后一部分是全连接网络；第一部分由一个卷积层、一个批规范化层、一个激活函数层和一个最大池化层组成；卷积层的卷积核的大小为3×3，步长为1×1，卷积后的特征图数量为96；最大池化层的池化核大小为2×2，步长为2×2；输入图像的尺寸大小是224×224×3，经过卷积层之后输出的尺寸大小是224×224×96，经过最大池化层输出的尺寸大小是112×112×96；第二部分由一个卷积层、一个批规范化层、一个激活函数层和一个最大池化层组成；经过卷积层和最大池化层输出的尺寸大小是56×56×96；第三部分由三个卷积层、三个批规范化层、三个激活函数层和一个最大池化层组成；经过卷积层和最大池化层输出的尺寸大小是28×28×96；最后一部分由三个全连接层、两个激活函数层、两个丢弃层和一个softmax层组成；把第三部分输出的尺寸扁平为长度为75264的一维向量，首先连接含4096个隐含点的第一层全连接层，输出向量为4096的一维向量；然后连接含4096个隐含点的第二层全连接层，输出向量为4096的一维向量；然后连接含10个隐含点的第三层全连接层，输出向量为10的一维向量；第一层和第二层全连接层之后连接激活层和丢弃层，丢弃层中的丢弃率设置为0.5；最后经过softmax层输出类别概率；

B2、障碍物识别

B21、对卷积神经网络模型进行训练，即把步骤A得到的包含车辆或者行人的检测结果裁剪出来，做成训练样本，输入到卷积神经网络模型中；

B22、经过权重初始化过程，初始化网络模型中卷积层的权重和偏置；

B23、采用前向传播算法和反向传播算法，在训练集上迭代，训练出最优的卷积神经网络模型参数；

B24、卷积神经网络模型训练完之后，选取最优的卷积神经网络模型参数用于障碍物识别，最终输出交通场景障碍物的类别；前向传播算法的计算公式如下：

式中，P'_x＝k是k类的真实概率分布，x为像素点，P_x＝k为第k类的概率，L是损失值，N为小批量图像中的像素总数；反向传播算法的计算公式如下：

W_t+1＝W_t+V_t+1(5)

式中，V_t+1是当前权重的更新值，V_t是先前权重的更新值，μ是动量，α是学习率，W_t+1是当前的权重矩阵，W_t是先前的权重矩阵，是负梯度。