[发明专利]基于模仿学习初始化的强化学习换道行为规划方法及系统

权利要求书

1.一种基于模仿学习初始化的强化学习换道行为规划方法，其特征在于，包括以下步骤：

S1，构建引入周围车辆模糊速度和变形位姿的栅格图M_t，将交通规则和道路状况信息合并使用向量V_t表示；

S2，使用模仿学习初始化换道决策行为规划π_b，将所述栅格图M_t和所述向量V_t连接输入模仿学习DAgger网络，输出车辆的高级决策；

S3，初始化PPO算法中Actor网络，通过SUMO仿真场景进行交互收集多组驾驶轨迹数据，在混合奖励机制的作用下，PPO算法优化换道决策行为规划，得到优化后的高级决策b_k；

所述混合奖励机制根据所选择的策略，自动触发对应的奖励函数；具体为，基于换道驾驶任务，将t时刻自动驾驶车辆和交通状况的状态定义为状态s_t，由行为规划π根据s_t，得到决策命令u_t，强化学习换道决策行为规划采取u_t，过渡到t+1时刻状态s_t+1，并得到奖励r_t，以此累积到换道决策行为规划完成特定任务，而行为规划π必须调整自己的网络参数θ，得到长期的收益Q(s_t，b_t)，

基于强化学习PPO算法进行行为规划π，输入强化学习换道决策行为规划的状态信息，将输出b_k∈{left_change，keep，right_change，speedup，speeddown}定义为高级决策，如果b_k与道路信息冲突，则由行为规划π重新决策；其中，将时间线划分成多个固定的时间段，在每个时间段[t_k，t_k+1]中，b_k将维持不变，时间跨度比控制命令长，将[t_k，t_k+1]时间段中的控制命令累积奖励代替时的决策奖励。

2.根据权利要求1所述的方法，其特征在于，S1中构建引入周围车辆模糊速度和变形位姿的栅格图M_t具体如下：

周围交通参与者的位姿信息为：多个距离传感器的信息整合到以自动驾驶车辆为中心的周围交通参与者的位置信息的栅格地图中，在每个栅格中，如果有交通参与者对象存在，其值为1，否则为0；

周围交通参与者的速度信息为：参考自动驾驶车辆的实时速度和理想线速度，将周围交通车辆速度分为7个模糊集合：{NB，NM，NS，Z，PS，PM，PB}，并将所述7个模糊集合以渐变色形式显示投射到栅格地图M_t，统一表示周围交通车辆的位姿信息和速度信息。

3.根据权利要求2所述的方法，其特征在于，S1中引入周围车辆时，考虑前后80米传感器范围内的所有车辆；对栅格地图进行改进，将弯道栅格地图统一变形为直道。

4.根据权利要求1所述的方法，其特征在于，S1中从高精地图的道路轮廓和信息图层，提取道路轮廓和道路方向，根据线路标识和自动驾驶车辆当前的定位信息，使自动驾驶车辆学会跟踪车道线，再从高精地图中提取当前的道路信息。

5.根据权利要求1所述的方法，其特征在于，S2输出的高级决策包括左变道行为、右变道行为、加速行为、匀速行为或减速行为。

6.根据权利要求1所述的方法，其特征在于，所述PPO算法包括Actor网络和Critic网络，Actor网络和Critic网络除了输出不同，其余结构相同；输入为周围交通参与者的模糊速度和变形位姿的栅格图、交通规则和道路方向的向量；栅格图经过3个卷积层处理，再由一个全连接网络平坦化，交通规则和道路方向的向量分别通过全连接网络处理；Actor网络和Critic网络连接并经过2个全连接网络输出，Actor网络最后经过SoftMax函数归一化输出高级决策行为，Critic网络最后一层是直接输出一个value值。