[发明专利]一种端到端自动驾驶的方法及系统

权利要求书

1.一种端到端自动驾驶的方法，其特征在于：所述的方法包括步骤如下：

S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；

S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；

S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；

S4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度的第二向量；

S5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到第三向量；

S6：将第三向量输入3个第二全连接层，得到一个维度的第四向量、一个维度的神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；

S7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。

2.根据权利要求1所述的端到端自动驾驶的方法，其特征在于：步骤S3，所述的卷积操作块依次包括3×3卷积层、最大池化层、非线性激活层。

3.根据权利要求2所述的端到端自动驾驶的方法，其特征在于：使用keras框架进行搭建与训练，使用Adam优化器进行优化，学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，模糊因子为1e-08，decay为200；每次进行100个epoch的训练，将图像、加速度计信息的80％作为训练集，剩余的20％作为验证集，mini-batch size为5，由于分类类别数为15，所以采用的损失函数计算方法为softmax cross entropy，训练对所有卷积层以及全连接层的权重进行更新。

4.根据权利要求1～3任一项所述的端到端自动驾驶的方法的系统，其特征在于：包括

用于获取驾驶室正前方道路环境RGB图像信息的摄像头；

用于获取三轴加速度计信息的6轴运动处理组件；

分别与摄像头、6轴运动处理组件通过串口通讯连接的中央控制单元；

所述的中央控制单元包括图像处理模块、端到端神经网络模块；所述的图像处理模块用于对得到的RGB图像进行平移、拉伸、旋转、归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间；

所述的端到端神经网络模块包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层；

汽车电子控制单元，所述端到端神经网络模块将得到汽车方向盘的输出角度、拟合汽车油门的大小信息输入到汽车电子控制单元，作为汽车控制信号实现对汽车控制。

5.根据权利要求4所述的系统，其特征在于：所述的摄像头设置在汽车的前挡风玻璃后；所述的6轴运动处理组件水平固定于汽车后轴的中间位置；所述的中央控制单元设置在汽车后备箱。

6.根据权利要求5所述的系统，其特征在于：所述的6轴运动处理组件采用MPU6050。