[发明专利]基于行车风险分析的车辆强化学习运动规划方法

权利要求书

1.一种基于行车风险分析的车辆强化学习运动规划方法，其特征在于包括如下步骤：

步骤1：利用视觉传感器获取本车所在车道的两侧边界信息该由车道两侧边界点横纵坐标(X_r,X_l)以及本车到左右两侧边界的垂直距离(d_l,d_r)组成，即利用高精度地图、激光雷达和毫米波雷达获取状态信息数组由本车坐标位置(X,Y)、周围环境障碍物的坐标位置(X_obs,Y_obs)和相对速度Δv组成，即所述距离Δv＝[Δv₁,Δv₂,…,Δv_n]，其中n是激光雷达和毫米波雷达在可检测范围内检测到的障碍物数量；

步骤2：将车道边界信息和相对状态信息组合成状态向量相对状态信息并输入基于深度强化学习的车辆运动规划模型Φ中，以输出本车动作向量action，即action＝[a,θ]，其中a∈[-a_max,a_max]是加速度动作，a_max表示最大加速度，θ∈[-θ_max,θ_max]是方向盘转角动作，当θ∈[0,θ_max]时表示方向盘向左转动θ转角，当θ∈[-θ_max,0]时表示方向盘向右转动θ转角；

步骤3：本车根据步骤2获取的动作向量action行驶t时长后，判断是否到达目的地，若是，则结束工作状态，否则进入步骤1进行下一时间步长的车辆控制。

2.如权利要求1所述的基于行车风险分析的车辆强化学习运动规划方法，其特征在于，所述步骤2中所述的车辆运动规划模型Φ是通过强化学习与环境交互训练获取的，且该训练包括如下步骤：

步骤21：在深度学习环境中初始化车辆运动规划模型Φ的深度网络参数，并在车辆仿真环境中分别随机重置本车与障碍物的坐标位置和速度；其中障碍物包括行人、车辆、静止路障等，设置训练状态为done＝False；获取当前时刻t的车道边界信息和车辆与障碍物的状态信息

步骤22：将车道边界信息和车辆与障碍物间的状态信息组合成状态向量并输入车辆运动规划模型Φ的深度网络中进行计算，获取当前时刻的动作向量action^t；

步骤23：基于步骤22获取的动作向量action^t预测本车与周围车辆在未来时刻t+Δt的运动状态信息所述运动状态信息与上述的组成状态变量相同；然后针对运动状态信息计算获取相应的行车风险值

步骤24：若其中G_Collision指碰撞风险阈值，则将步骤2输出的动作action^t确定为碰撞风险动作，同时将动作向量action^t中的加速度动作a^t更换为最小加速度a_min；若其中G_dangerous为危险风险阈值，则将动作action^t确定为危险风险动作，并按照相对运动状态对加速度动作a^t进行安全补偿，即将加速度动作a^t更改为其中为安全补偿值，ε为安全补偿系数，同样若则确定输出的动作action^t为普通风险动作，同时保持步骤2获取的动作向量action^t不变；

步骤25：本车按照步骤24输出的动作action^t行驶Δt时长后，输出t+Δt时刻的车道边界信息和相对状态信息并组合成状态向量

步骤26：同时根据中的判断本车与障碍物是否发生碰撞或者t+Δt是否满足t+Δt≥T，其中T指每回合的最大训练时长，如果是，则将训练状态更改为done＝True，否则，保持done＝False；

步骤27：将状态向量输入奖励函数中获取此时的奖励值同时将作为一个样本存储至经验池中；

步骤28：若经验池中的样本量大于N，则从经验池中随机筛选n个样本对模型Φ中的深度网络参数进行梯度优化；

步骤29：若done＝True，则结束本回合训练，同时判断此时的训练回合数是否达到了最大回合数，如果没有，则进入步骤21开始下一回合训练，否则结束训练；若done＝False，令t＝t+Δt，进入步骤22开始下一步长的训练。