[发明专利]基于强化学习和避让策略的应急车辆混合换道决策方法

权利要求书

1.一种基于强化学习和避让策略的应急车辆混合换道决策方法，其特征在于，包括以下步骤：

(1)确定优化路段，并对优化路段上待规划智能网联普通车辆和智能网联应急车辆的运行策略进行规划；其中，待规划智能网联普通车辆利用基于规则的避让策略，待规划智能网联应急车辆利用基于DQN网络的混合换道策略；

(2)对待规划智能网联应急车辆的DQN网络进行初始化；

(3)基于待规划智能网联应急车辆及其六个邻居车辆的状态信息以及待规划智能网联应急车辆前车的避让策略执行情况，得到待规划智能网联应急车辆的DQN网络的状态空间；

所述步骤(3)中，待规划智能网联应急车辆的DQN网络的状态空间的获得方法，包括以下步骤：

(3.1)对待规划智能网联应急车辆的六个邻居车辆的状态信息以及待规划智能网联应急车辆本身的状态信息进行整合，得到状态空间的基本信息；

所述步骤(3.1)中，得到的状态空间的基本信息为：

Neighbors＝＜＜Presence_leader，v_leader，y_leader-y_ego＞，...＜Presence_follower，v_follower，y_follower-y_ego＞，＜LaneIndex_ego，v_ego，Distance2go＞＞

其中，Presence代表该位置的邻居车辆是否存在，若存在赋以1，否则赋为0，Presence的下标包括leader、follower、left leader、left follower、right leader、和rightfollower；v则代表了在Presence为1的情况下对应车辆的纵向速度，v的下标包括leader、follower、left leader、left follower、right leader和right follower；v_ego代表待规划智能网联应急车辆的纵向速度；而y-y_ego则代表了Presence为1的情况下对应车辆相对于智能网联应急车辆的纵向距离，用对应车辆的纵向距离y减去智能网联应急车辆的纵向距离y_ego计算得到，y的下标包括leader、follower、left leader、left follower、right leader和right follower；LaneIndex_ego代表智能网联应急车辆的车道编号；Distance2goal代表应急车辆与路段出口的距离；

(3.2)根据待规划智能网联应急车辆的当前速度与其最大速度，得到状态空间的速度附加项；

(3.3)根据待规划智能网联应急车辆是否存在前车，定义优先区间的长度；

(3.4)基于优先区间的长度确定待规划智能网联应急车辆前车的避让策略执行情况，并结合步骤(3.1)和(3.2)中确定的状态区间的基本信息和速度附加项信息，得到待规划智能网联应急车辆的DQN网络的状态空间；

(4)将步骤(3)得到的DQN网络的状态空间作为输入量输入初始化后的DQN网络，得到t时刻的输出值Q，并基于输出值Q得到初步决策以及动作空间；

(5)建立动作选择屏障，用于以探索系数∈对步骤(4)得到的初步决策进行验证和选择，直到从输出值Q或动作空间中最终选出的动作满足交通规则和道路物理结构；

(6)定义奖励函数，用于对步骤(5)中得到的动作所对应的总奖励R_t进行计算；

(7)根据定义的状态空间、动作空间、动作选择屏障以及奖励函数，对步骤(2)中初始化的DQN网络进行训练，得到训练好的DQN网络，对优化路段上的待规划智能网联应急车辆的混合换道进行决策。