[发明专利]一种端到端的无人驾驶决策方法及系统

权利要求书

1.一种端到端的无人驾驶决策方法，其特征在于，包括：

采集车辆行驶图像和车辆行驶过程中的驾驶决策数据，所述车辆行驶图像包括训练图像和决策图像；

将采集的车辆行驶图像进行预处理，得到低层特征图像，所述低层特征图像包括梯度图像和光流图像；

构建多路时空决策网络，所述网络以没有预处理的训练图像和所得到的低层特征图像作为输入，使用多个通路从输入的图像中提取高层时空特征，并将提取的高层时空特征进行融合，得到用于决策的驾驶决策量；其中，所述通路具有由四个三维卷积模块堆叠而成的网络结构，所述三维卷积模块包括三维卷积层、批量归一化层及激活层；

使用所述训练图像作为输入，该输入的图像对应的驾驶决策数据为标签对所构建的多路时空决策网络进行训练，得到用于决策的网络参数，所述网络参数表征三维卷积层中的每个卷积核里的权重；

利用所述决策图像，使用经训练后的多路时空决策网络进行无人驾驶决策，得到决策结果。

2.根据权利要求1所述的方法，其特征在于，所述三维卷积层的计算公式为：

其中，w表示当前卷积层对应的卷积核里的权重，v是当前卷积层对应的特征图里的特征值，b_ij是当前卷积层中的第i行和j列对应的偏置，x、y、t分别表示当前卷积层对应的三个方向，i、j分别表示当前特征图里的行和列，m代表当前层特征图的数量，P、Q、R分别表示卷积核三个方向的大小。

3.根据权利要求1所述的方法，其特征在于，所述批量归一化层使用如下公式对训练数据进行归一化：

其中，μ_B和分别为该批训练数据对批量归一化层的输入的均值和方差；x_i表示每批输入中的第i个输入，ε是常数，γ和β分别表示来缩放和平移x_i的两个参数，y_i表示处理之后的最终结果。

4.根据权利要求1所述的方法，其特征在于，所述激活层使用如下公式对网络参数进行修正：

其中，α表示激活函数的参数，x表示特征图上的每一个特征值。

5.根据权利要求1所述的方法，其特征在于，所述将提取的高层时空特征进行融合，得到用于决策的驾驶决策量包括：

使用如下公式进行融合：

其中，f_fusion是融合后的特征，f_i和W_i分别是第i种高层特征及其对应的权重矩阵；

使用如下公式将融合后的特征转换为要进行决策的驾驶决策量：y＝{y₁,y₂,K,y_n,L,y_N}＝W_outgf_fusion,

其中，y_i表示第i个决策的值，W_out为输出层的权重矩阵。

6.根据权利要求1所述的方法，其特征在于，使用所述训练图像作为输入，该输入的图像对应的驾驶决策数据为标签对所构建的多路时空决策网络进行训练，得到用于决策的网络参数包括：

将每批输入的训练样本及对应的预处理后的低层特征图像送入所述多路时空决策网络中；

将网络输出的决策数据的值与每个样本对应的驾驶决策数据的值进行误差处理，得到两者之间的误差值，利用得到的误差值进行梯度反向传播，更新网络参数，直到网络收敛。

7.根据权利要求1所述的方法，其特征在于，所述利用所述决策图像，使用经训练后的多路时空决策网络进行无人驾驶决策，得到决策结果包括：

构建与所述训练图像的帧数相同的缓存队列；

将所述决策图像送入所述缓存队列中，当所述缓存队列存满后，将队列中存储的图像进行预处理得到对应的低层特征图像；

将队列中存储的图像和对应的低层特征图像输入经训练后的多路时空决策网络中，得到决策结果。