[发明专利]一种基于双层深度强化学习的自动驾驶车辆换道方法

权利要求书

1.一种基于双层深度强化学习的自动驾驶车辆换道方法，所述换道包括换道决策和换道运动两个阶段，其特征在于，该换道方法包括以下步骤：

步骤一、构建DQN进行自动驾驶汽车换道决策离散动作的学习；

步骤二、构建DDPG进行自动驾驶汽车运动轨迹连续动作的学习；

步骤三、以步骤二的DQN、步骤三的DDPG构建双层深度强化学习网络，使DQN输出动作转变成DDPG的开启信息；

步骤四、对双层深度强化学习网络进行训练，并基于训练完成的双层深度强化学习网络进行自动驾驶车辆换道。

2.如权利要求1所述的基于双层深度强化学习的自动驾驶车辆换道方法，其特征在于：

步骤一具体为：以目标车辆接收到的环境信息作为目标车辆的状态空间，由DQN选择动作执行，之后更新目标车辆的状态空间，并选取换道完成前后关于目标车辆与前车的距离差值的函数作为奖励函数。

3.如权利要求2所述的基于双层深度强化学习的自动驾驶车辆换道方法，其特征在于：所述环境信息包括：

目标车辆速度、位置、当前车道编号；当前车道前车速度、位置；相邻车道前车速度、位置。

4.如权利要求2所述的基于双层深度强化学习的自动驾驶车辆换道方法，其特征在于：根据目标车辆当前所在车道编号，动作选择包括以下三种情况：

1)目标车辆当前位于中间车道时，有三个动作选择：保持当前车道、更换左侧车道、更换右侧车道；

2)目标车辆当前位于最左侧车道时，有两个动作选择：保持当前车道、更换右侧车道；

3)目标车辆当前位于最右侧车道时，有两个动作选择：保持当前车道、更换左侧车道。

5.如权利要求1所述的基于双层深度强化学习的自动驾驶车辆换道方法，其特征在于：步骤二具体为：以目标车辆接收到的环境信息作为目标车辆的状态空间，由DDPG网络选择动作执行，之后更新目标车辆的状态空间，并选取状态空间更新前后关于目标车辆与前车的距离、目标车辆横向加速度、目标车辆速度的函数作为奖励函数。

6.如权利要求5所述的基于双层深度强化学习的自动驾驶车辆换道方法，其特征在于：环境信息包括：

目标车辆速度、角度、位置；当前车道前车速度、位置；目标车道前车速度、位置信息以及所接收的DQN动作。

7.如权利要求5所述的基于双层深度强化学习的自动驾驶车辆换道方法，其特征在于：动作选择为目标车辆与道路的角度。

8.如权利要求1所述的基于双层深度强化学习的自动驾驶车辆换道方法，其特征在于：

步骤四中DQN的损失函数为：