[发明专利]基于TensorFlow和OpenCV的车道线识别方法

说明书

本发明公开了基于TensorFlow和OpenCV的车道线识别方法，从道路图像中识别出车道线并建立车道线拟合方程，解决了传统车道线识别算法中遇到的干扰项多、识别率低的难题。本发明使用TensorFlow建立卷积和反卷积神经网络模型，模型经过训练后可以实现道路图像的语义分割，使该模型能够对道路图像中的车道线区域实现像素级的分类；然后建立可变阈值的图像二值化方法，将神经网络的输出图像二值化，区分出道路图像中的车道线区域；最后使用OpenCV建立提取车道线坐标点的方法，从而进一步排除干扰项，从二值化图像中提取出车道线坐标点，并建立车道线方程。本发明提出的算法具有效率高、识别率高的特点，并且在实际应用中也有较好的鲁棒性。

技术领域

本发明属于车辆自动驾驶图像识别技术，具体涉及一种基于TensorFlow和OpenCV的车道线识别方法。

背景技术

车道线识别算法是自动驾驶算法中的重要组成部分，该算法采用的是图像处理技术，从车前CCD相机中采集到的原始道路图像中提取车道线上的点，并建立车道线方程，以完成对道路图像中的车道线识别的功能。但是，由于道路图像复杂，干扰项多，导致基于传统的图像处理方法不能够满足自动驾驶车辆对车道线识别精度的要求。

发明内容

针对上述问题，本发明提出了一种基于TensorFlow和OpenCV的车道线识别方法，该识别方法采用的算法融合了当前先进的图像识别技术和传统图像处理技术的优点，前者通过神经网络模型提取道路图像中的车道线特征，实现了对道路图像的车道线区域像素点级的分类功能；后者针对车道线的特点建立一系列的图像处理算法，这些算法能够进一步地去除干扰项目，获得更佳的车道线识别效果。本发明提出的算法具有效率高、识别率高的特点，并且在实际应用中也有较好的鲁棒性。本发明提出的设计方法包含以下步骤：

步骤1.图像数据集的制作方法：制作图像数据集的原始图像数据来源于车前CCD相机采集到的彩色道路图像，本发明利用这些图像生成用于神经网络训练的图像数据集。该制作方法包括图像标注方法、图像处理方法和生成图像数据集方法。图像标注方法通过手工进行图像标注，利用LabelMe标注软件将原始图像中的车道线区域框选出来，输出的标注图像为二值图像；图像处理方法是将标注图像和原始图像分别经过处理后生成神经网络模型训练所需要的两种图像，包括训练时的神经网络输入图像和计算交叉熵时的输入图像；生成图像数据集方法是利用TensorFlow的图像数据集格式TFRecord，将图像处理方法中的两种图像打包成图像数据集。

步骤2.神经网络模型的设计方法：神经网络模型由TensorFlow搭建，本发明搭建该模型，然后对模型进行训练后用于提取车道线特征。该模型共有8层，分别为卷积层1、卷积层2、卷积层3、最大池化层、反最大池化层、反卷积层3、反卷积层2、反卷积层1，每层具有特定的过滤器尺寸、过滤器深度和过滤器移动步长，有些层还使用了全零填充。在设计时，反卷积层3的输入等于卷积层3的输出与反最大池化层的输出的线性加权和。

步骤3.可变阈值的图像二值化方法：在实际使用中，训练好的神经网络模型会输出具有明显车道线特征的图像，可变阈值的图像二值化方法可以将这些输出图像进行二值化处理，处理后的图像可以去除更多的干扰项，使车道线特征更加明显。本发明将待处理的图像的像素点的值与阈值比较，如果像素点值大于阈值，就将其设置为255，否则设置为0。可变阈值与待处理图像的像素点之和具有一次函数关系，其斜率和截距可根据实际情况进行调整。

步骤4.提取车道线坐标点的方法：本发明利用OpenCV建立提取车道线坐标点算法，从经过二值化处理后的道路图像中提取出车道线坐标点。该方法先设定一个中间值，然后进行图像的行扫描和列扫描，行扫描的增量为8，列扫描的增量为1。图像行扫描的过程中，如果像素点的值满足以下两种情况，将不再扫描下两列数的两个像素点的值，并记录下一列数的一个像素点作为车道线的坐标点：

(a)像素点所在列数小于或等于中间值，像素点的像素值大于100，相同行向x轴正方向偏移1列像素点的像素值大于100，相同行向x轴正方向偏移4列像素点的像素值小于100；