[发明专利]一种端到端自动驾驶的方法及系统

说明书

本发明公开了一种端到端自动驾驶的方法及系统，其中方法包括步骤：获取道路环境的RGB图像信息、获取三轴的加速度计信息；对RGB图像平移、拉伸、旋转、归一化处理，得到的图像为三维矩阵；构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型，并对其进行训练；将图像输入5个卷积操作块，输出第一向量；将加速度计信息输入2个第一全连接层，输出二向量；将第一向量与第二向量通过向量拼接层进行拼接，得到第三向量：将第三向量输入3个第二全连接层，得到第四向量、神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；将方向盘的输出角度、汽车油门的大小作为汽车控制信息。

技术领域

本发明涉及自动驾驶技术领域，更具体的，涉及一种端到端自动驾驶的方法及系统。

背景技术

现今自动驾驶方案主要分为两大主流方案：基于规则(rule based solution)的方案以及端到端(end-to-end)的方案。

基于规则方案的主体需要人工去搭建，从车辆开始是一个闭环：从车辆到车上的传感器(radar、LiDAR以及camera等)，综合在一起获取信息，这些信息经过感知层、经过特殊的处理(包括深度学习网络)，最终会提取出道路、行人和车辆等各种信息。在感知到的信息基础之上，再加入高精地图等一些静态信息，当动态和静态信息结合在一起后，就会形成一个比较完备的世界模型(Wodel Model)——对外部环境的完备描述。

在此基础之上，我们就进入到决策模块，考虑到驾驶舒适性，这一步主要是演绎推理(reasoning)的一些过程，最终会产生一些决策，决策再往下就到了车厂比较擅长的领域——车辆控制，需要给车辆一些控制信号。

在这样一个基于规则的方案系统里面，其实有一个非常复杂的架构，如此庞大的系统，容易衍生出各种问题：

(1)系统复杂性。这样一个系统，需要人工设计上千个模块，从0到1是非常艰难的，其系统的复杂度不亚于一个操作系统。

(2)高精地图的成本很高。在构建世界模型的时候，需要高精地图的辅助，而高精地图本身的广铺、更新都是极其大的成本。

(3)车载硬件计算能力要求非常高。在这样一个系统里面，有不同的感知、决策模块，每一个模块都会使用深度学习的优化手段。一个综合的复杂系统里面，可能需要几个甚至是十几个深度学习的神经网络，每一个的计算成本都极其巨大。

从输入端(传感器的原始数据)直接映射到输出端(控制信号)，在这个过程中，没有高精地图、没有人工设计的专家规则、没有复杂的传感器，能够在从未见过的道路上做训练。通常，端到端驾驶模型使用一个深度神经网络来完成这种映射，网络的所有参数为联合训练而得。传统的端到端自动驾驶系统一般利用汽车前视摄像头所拍摄到的实时图像，传送到端到端模型，即神经网络模型进行训练或直接推理，所带来的不足包括部分自动驾驶汽车所使用的前视摄像头信息单一，导致神经网络模型只能依赖单一信息进行预测计算，系统鲁棒性较低。

发明内容

本发明为了解决目前自动驾驶汽车使用前视摄像头信息单一，导致神经网络模型只能依赖单一信息进行预测计算，系统鲁棒性较低的问题，提出一种端到端自动驾驶的方法及系统，其能在控制端到端自动驾驶系统的成本的前提下，弥补前视摄像头所带来的视野不足的问题，从而提高行车安全性。

为实现上述本发明目的，采用的技术方案如下：一种端到端自动驾驶的方法，所述的方法包括步骤如下：

S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；

S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；