[发明专利]基于监督信号引导的深度强化学习自动驾驶汽车控制方法

权利要求书

1.一种基于监督信号引导的深度强化学习自动驾驶汽车控制方法，其特征在于，该方法具体包括以下步骤：

S1：获取周边车辆状态信息；

S2：建立汽车运动学模型；

S3：利用DDPG算法构建自动驾驶汽车控制模型对车辆的加速度和转向角进行控制，并优化Actor网络的损失函数，同时利用IDM算法和MOBIL算法构建加速度和转向角监督信号，对DDPG算法的训练进行引导和优化；

对DDPG算法的训练进行引导和优化，具体包括以下步骤：

S311：设计奖励函数R：

其中，k₁，k₂，k₃，k₄，k₅，k₆为各项奖励的权重系数；第一项为碰撞奖励，collision代表碰撞事件，碰撞发生时为1，未发生时为0；第二项为右侧车道奖励，lane为本车当前所在车道的序号，lane_num为车道总数；第三项为车速跟踪奖励，v为车辆速度，v_min为奖励范围内的最小速度，v_max为奖励范围内的最大速度，也是所跟踪的期望车速；第四项为舒适性奖励，鼓励本车尽量采取较小的转向角，δ为车辆前轮转向角，δ_min为奖励范围内的最小转向角，δ_max为奖励范围内的最大转向角；第五项为车道中心保持奖励，ΔX为车辆与车道中心线的横向距离；第六项为安全性与效率奖励，Δx为周边车辆与本车的横向距离，Δx_min为本车与前车奖励范围内的最小距离，Δx_max为本车与前车奖励范围内的最大距离；

本车执行动作后，根据奖励函数计算当前状态下执行该动作的奖励值；

S312：本车执行动作后，根据汽车运动模型得到本车的下一状态S′；

S313：设置经验池用于存放本步的经验样本{S,A,R,S′,A_s}，当经验池样本数超过经验池容量后，最早的经验样本将被新的经验样本替换；

S314：从经验池中随机抽取N个样本进行在线Critic网络更新；

S315：利用步骤S314抽取的N个经验样本进行在线Actor网络更新；

S316：对目标Critic网络及目标Actor网络进行软更新：

θ^Q′＝τθ^Q+(1-τ)θ^Q′

θ^μ′＝τθ^μ+(1-τ)θ^μ′

其中，τ为软更新参数，θ^Q为在线Critic网络参数，θ^Q′为目标Critic网络参数，θ^μ为在线Actor网络参数，θ^μ′为目标Actor网络参数。

2.根据权利要求1所述的自动驾驶汽车控制方法，其特征在于，步骤S1中，获取的周边车辆状态信息，具体包括：周边车辆与本车的横纵向相对车速，以及周边车辆与本车的横纵向距离。

3.根据权利要求1所述的自动驾驶汽车控制方法，其特征在于，步骤S2中，搭建的汽车运动学模型为：

其中，x，y为全局坐标系下车辆质心的横坐标和纵坐标，为全局坐标系下车辆质心的横向速度和纵向速度，v为车辆速度，θ为车辆航向角，为车辆横摆角速度，β为车辆侧偏角，a为车辆加速度，l_f为车辆前轴到质心的距离，l_r为车辆后轴到质心的距离，δ为车辆前轮转向角。