[发明专利]基于深度强化学习的自动驾驶车辆换道决策系统及方法

权利要求书

1.基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：包括处理器模块，以及分别与处理器模块连接的数据采集模块、数据分析模块和换道策略模块；

所述数据采集模块，用于采集目标车辆的数据信息，以及采集目标车辆附近的干扰车辆的运行数据，然后形成第一数据集合并将第一数据集合发送至数据分析模块；

所述数据分析模块，用于对第一数据集合进行分析处理，并得到自动驾驶车辆的换道场景以及换道数据；

所述换道策略模块，用于根据得到的换道场景和换道数据生成第一换道策略，并将第一换道策略发送至处理器模块；

所述处理器模块，包括数据存储单元和换道执行单元，所述数据存储单元，用于存储第一换道策略；所述换道执行单元，用于根据所述第一换道策略得到基于规则的换道轨迹执行模型并控制自动驾驶车辆进行车道变更。

2.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：所述第一数据集合包括当前时刻周边车辆信息、当前时刻周边道路信息、下一时刻周边道路信息、下一时刻周边车辆信息和本车车辆信息。

3.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：所述对第一数据集合进行分析处理为，利用预设的分析算法对有限的第一数据集合进行无限场景探索分析，并在得到对应的换道场景前，对分析过程进行深度强化学习。

4.根据权利要求3所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：所述预设的分析算法为Actor-Critic算法；所述深度强化学习为，利用马尔可夫决策过程对分析过程进行描述，形成一个六次元组M＝(S，A，P，r，ρ，γ)，其中S为状态空间，所述状态空间为所有状态的集合；A为动作空间，所述动作空间为所有动作的集合；P为状态转移概率；r为状态转移过程的奖励函数；γ为状态转移过程中的折扣系数。

5.根据权利要求4所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：所述奖励函数为式中，v为车辆实时速度，v_min为车辆训练过程中采用的最小速度，v_max为车辆训练过程中采用的最大速度，a为对于换道过程中速度奖励值，b是对车辆发生碰撞的碰撞惩罚值，collision为仿真环境对于车辆发生碰撞的反馈结果。

6.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：所述数据分析模块在基于规则换道模型的基础上使用深度强化学习方法对换道模型进行训练和尝试，最后对模型进行验证。

7.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：所述换道策略模块在生成换道策略时利用基于规则的轨迹规划算法来辅助计算，所述基于规则的轨迹规划算法表达式为其中θ_i为规划步长起点的航向角，为终点横向坐标，x_n为车辆n的纵向位置，y_n为车辆n的横向位置。

8.根据权利要求3所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在于：所述利用马尔可夫决策过程对分析过程进行描述时，状态值函数定义如下，其中a_t，r_t，s_t+1，a_t+1，r_t+1，...～π表示轨迹来自策略π与环境的交互。