[发明专利]一种面向自动驾驶的平行规划方法、设备及存储介质

权利要求书

1.一种面向自动驾驶的平行规划方法，其特征在于，包括如下步骤：

获取虚拟驾驶场景数据和真实驾驶场景数据，并基于所述虚拟驾驶场景数据和真实驾驶场景数据建立联合数据集；

构建端到端的自动驾驶运动规划模型；

构建用于预测各种虚拟未来驾驶场景的平行时空视频生成模型；

采用所述联合数据集对所述自动驾驶运动规划模型和平行时空视频生成模型进行训练，以得到平行规划模型；

采用所述平行规划模型对各种虚拟未来驾驶场景进行平行规划；

所述自动驾驶运动规划模型的基础模型为深度强化模型，其中，所述深度强化模型采用深度Q网络与Actor-Critic框架融合的算法建立，Actor网络采用分层的结构，高层决策输出为驾驶行为，低层决策输出为具体的规划指令；Critic网络输出Q值，用于评价动作的好坏和计算梯度，更新网络；

所述自动驾驶运动规划模型的状态提取网络由卷积神经网络与长短时记忆网络级联构成；

所述端到端的自动驾驶运动规划模型的建立过程为：

第一步、状态提取网络设计：状态提取网络由CNN和LSTM级联组成；

第二步、分层策略的体系结构设计：分层强化学习决策框架由两部分组成，包括高层动作选择和低层运动规划，在高层的行为选择级别，主策略选择当前状态下要执行的动作；在低层的运动规划级别，激活相应的行为策略，并向执行器输出方向盘转向角和油门、刹车指令；

第三步、整车控制的体系结构设计：车辆的运动由横向和纵向执行器共同控制，两种执行器相对独立，每一个策略都包含一个转向策略网络SP-Net和一个加速策略网络AP-Net，分别执行横向和纵向控制；

第四步、异步并行强化网络的设计：采用异步并行学习器训练策略π(a|s;θ)并估计状态值V(s;w)，车辆智能体具有一个策略网络和一个价值网络，并根据策略输出做出决策，其中，时间步t的损失函数定义为：

，

其中，表示时间误差，在前向网络中使用N步收益而不是全部收益估算预期累计收益：

，

即在n次操作之后，估计时间t处价值和策略网络的更新梯度；状态s_t之后，V(s;w)的参数w的梯度更新为：

，

Actor-Critic方法的策略梯度是，在目标函数中加入策略的熵，从而使策略走向更大的熵，通过阻止过早收敛到次优策略来促进探索，总梯度由策略梯度项和熵正则化项组成，因此，在状态s_t之后，策略网络的参数θ的梯度更新为：

，

其中，β是权衡不同损失成分重要性的超参数，w和θ分别是共享价值和策略网络的参数。

2.根据权利要求1所述的面向自动驾驶的平行规划方法，其特征在于，所述自动驾驶运动规划模型的输入为自动驾驶汽车中左、中、右三个前向RGB车载相机采集的序列图像，所述自动驾驶运动规划模型的输出包括高层输出和低层输出，其中，所述高层输出为驾驶决策，所述低层输出为具体的规划指令。

3.根据权利要求1所述的面向自动驾驶的平行规划方法，其特征在于，所述平行时空视频生成模型由改进的条件生成对抗网络构成。