[发明专利]一种端到端自动驾驶行为决策方法、系统及终端设备

权利要求书

1.一种端到端自动驾驶行为决策方法，其特征在于，包括如下步骤：

基于图像信息、深度信息和语义分割信息，通过嵌入注意力机制的卷积神经网络获取场景的空间特征；

基于车辆历史运动状态序列信息，通过嵌入注意力机制的记忆网络编码-解码结构获取时间特征；

将空间特征与时间特征连通，建立端到端自动驾驶行为决策模型，并获取端到端自动驾驶行为预测结果。

2.根据权利要求1所述的端到端自动驾驶行为决策方法，其特征在于，空间特征的提取过程包括：

将打包后的图像和深度图像输入至主干网络中，获取图像信息和深度信息；

图像信息通过主干网络和金字塔池化，获取语义分割信息；

将图像信息、深度信息和语义分割信息输入至连接层，生成固定长度的空间特征向量，获取场景的空间特征；

其中，主干网络中嵌入了注意力机制。

3.根据权利要求2所述的端到端自动驾驶行为决策方法，其特征在于，图像信息和深度信息的获取过程为：

利用三个空间注意力分支网络捕捉输入特征图，建立空间维度和通道维度之间的交互，获取空间注意力图；

对主干网络进行训练，得到不同的稀疏掩码；利用不同的稀疏掩码对主干网络进行剪枝，生成两个不同的子网络，基于不同的子网络，获取图像信息和深度信息。

4.根据权利要求3所述的端到端自动驾驶行为决策方法，其特征在于，空间注意力图的获取过程具体为：

分别在三个空间注意力分支网络中，通过旋转输入的特征图建立空间维度和通道维度的交互；之后分别对旋转后的特征图进行最大池化和平均池化；将平均池化后的特征图和最大池化后的特征图级联，将级联后的特征图输入至两个全连接层进行编码；再通过sigmoid激活函数生成注意力权重，注意力权重与原输入特征图结合，得到三个注意力图；将三个注意力图平均后得到空间注意力图。

5.根据权利要求3所述的端到端自动驾驶行为决策方法，其特征在于，剪枝的具体操作为：

将基网络和掩码矩阵随机初始化，同时设置剪枝阈值；

将基网络与掩码矩阵相与后进行训练，迭代更新掩码矩阵，获得两个不同共享参数的稀疏掩码矩阵；

通过训练得到两个子网络不同的稀疏掩码，利用不同的稀疏掩码对主干网络进行剪枝。

6.根据权利要求1所述的端到端自动驾驶行为决策方法，其特征在于，时间特征的提取过程包括：

利用编码器对车辆历史运动状态序列信息进行理解、总结与记忆，获取车辆历史运动状态特征向量；

利用时间特征提取网络构建时间注意力机制；

利用解码器对经过时间注意力机制后的车辆历史运动状态特征向量进行时间序列生成与特征提取，更新当前时刻的隐藏状态，获取时间特征。

7.根据权利要求6所述的端到端自动驾驶行为决策方法，其特征在于，

时间注意力机制基于时间注意力模块进行构建，具体操作包括：

时间注意力模块中的多层感知器根据编码器隐藏状态、解码器的隐藏状态，得到能量项；

时间注意力模块中的Softmax函数根据能量项，得到实时的编码器抽象特征与解码器注意力系数；

时间注意力模块将注意力系数作为权重，对所有时刻的隐藏状态进行加权求和，得到解码器在每个时刻的上下文向量。

8.一种端到端自动驾驶行为决策系统，其特征在于，包括：

空间注意力模块，用于基于图像信息、深度信息和语义分割信息，获取场景的空间特征；

时间注意力模块，用于基于车辆历史运动状态序列信息获取时间特征，并基于时间特征构建时间注意力机制；

模型建立模块，分别与空间注意力模块、时间注意力模块相交互，基于空间特征和时间注意力机制建立端到端自动驾驶行为决策模型，通过端到端自动驾驶行为决策模型对端到端自动驾驶行为结果进行预测。