[发明专利]一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统

说明书

本发明公开了一种基于交通元素视觉增强的深度学习的自动驾驶方法，其通过车载摄像头获取车辆行驶数据，利用建立的感知神经网络识别图像中的车辆、行人、红绿灯、车道线、停止线等交通元素，通过不同颜色区块对图像中的交通元素进行视觉增强，然后以增强后的图像作为输入，导入到预先确定并训练好的深度学习网络模型中，输出期望的方向盘转角、油门开度以及刹车力度，以控制车辆实现自动驾驶。本发明还公开了相应的系统，实施本发明，可以增加深度学习自动驾驶系统对重点道路交通元素的关注度，从而有效提高自动驾驶的安全性、可靠性以及鲁棒性。

技术领域

本发明属于汽车自动驾驶领域，涉及一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统。

背景技术

采用深度学习来实现对车辆进行自动驾驶的方法是当前行业内前沿的自动驾驶算法模型。其一般是先设计深度学习网络，然后将传感器采集的原始图像作为深度学习网络的输入，通过网络输出刹车、加速和转向等操作作为输出，然后对深度学习网络进行训练。其优势是网络模型可以直接对传感输入做出回应，不需要人类编写规则进行干预，只要提供足够多的训练数据，系统就能自动学会驾驶技术。

但是现有的深度学习自动驾驶方法直接将原始图像作为深度学习网络的输入，导致网络对图像中的车辆、行人、红绿灯、车道线以及停止线等交通元素关注度不够，容易造成自动驾驶车辆发生安全事故，不能达到很好的自动驾驶能力。

发明内容

本发明实施例所要解决的技术问题在于，本发明提供一种基于交通元素视觉增强的深度学习的自动驾驶方法及系统，通过提前对图像中的交通元素进行识别，然后对原始图像中的交通元素进行视觉增强，从而提高网络对其关注度，提高自动驾驶的安全行驶能力。

作为本发明的一方面，提供一种基于交通元素视觉增强的深度学习的自动驾驶方法，其包括如下步骤：

步骤S10，通过车载摄像头采集当前车辆行驶的行车环境数据；

步骤S11，利用感知神经网络对所采集的行车环境数据中的交通元素进行识别，并对所述识别出来的交通元素进行视觉增强，形成增强后的行车环境数据；

步骤S13，将所述增强后的行车环境数据作为输入数据导入预先确定并训练好的自动驾驶决策模块中，根据所述自动驾驶决策模块输出的期望的方向盘转角、油门开度以及刹车力度，控制车辆实现自动驾驶；其中，所述自动驾驶决策模块中采用深度学习网络模型，所述深度学习网络模型至少包括有多级卷积神经网络(CNN)层、长短期记忆神经网络(LSTM)层以及输出层。

优选地，所述深度学习网络模型包括：

多级卷积神经网络(CNN)层，用于将输入的增强后的行车环境数据进行卷积处理，形成具有第一维度的第一特征向量；

第一全连接(FC)层，用于将所述第一特征向量转换成具有第二维度的第二特征向量；

两个分支网络，其中第一分支包括有具有第三维度的第二全连接(FC)层，用于将所述第二特征向量转换成第三维度，并经一方向盘输出层进行输出，所述方向盘输出层具有一个单元，输出结果为期望的方向盘转角；

第二分支包含有第四维度的长短期记忆神经网络(LSTM)层和具有第三维度的第三全连接(FC)层，用于将所述第二特征向量转换后，连接至油门开度和刹车力度输出层进行输出，输出结果分别为期望的油门开度和期望的刹车力度；

其中，所采用的网络损失函数为方向盘转角平方差、油门开度平方差和刹车力度平方差三者的加权和。

优选地，所述多级卷积神经网络(CNN)层采用RESNET50网络，所述第一维度为2048，第二维度为256，第三维度为10，第四维度为256。

优选地，进一步包括步骤S2，预先确定深度学习网络模型并进行优化训练，形成自动驾驶决策模块；所述步骤S2具体包括：