[发明专利]一种基于深度强化学习的智能汽车稳定性控制方法

摘要

本发明公开了一种基于深度强化学习的智能汽车稳定性控制方法，其步骤包括：1获取汽车横向控制器的决策输出和车辆结构参数、行驶参数；2定义深度强化学习方法的状态参数、动作参数和奖励函数；3构建并训练深度强化学习方法的网络模型，得到最优动作网络模型；4获取汽车当前状态参数st，从而利用所述最优动作网络模型输出当前附加横摆力矩▽Mt和修正转角▽δt；5判断汽车稳定状态；6根据汽车转向性质和方向盘转角方向确定当前修正转角▽δt的方向和当前附加横摆力矩▽Mt的动作车轮。本发明能实现稳定工况和极限工况下直接横摆力矩控制和转向控制之间的最优协调控制规律，从而实现车辆稳定性控制，保证驾乘人员的安全性和舒适性。

主权项

1.一种基于深度强化学习的智能汽车稳定性控制方法，其特征是按如下步骤进行：/n步骤1：获取车辆横向控制器决策输出的前轮转角δ_f以及车辆结构参数，包括：车辆轮距L、质心到前后轴距离L_f和L_r、前后轮侧偏刚度C₁和C₂、汽车质量m；/n获取车辆行驶参数，包括：方向盘转角sw、车速u和路面摩擦系数μ；/n步骤2：利用式(1)计算理想横摆角速度w_d：/n /n式(1)中，g为重力加速度，w为横摆角速度，并有：/n /n步骤3：利用式(3)计算理想质心侧偏角β_d：/nβ_d＝-min{|β|,|β_max|}·sign(δ_f) (3)/n式(3)中，β为车辆质心侧偏角，β_max为车辆最大质心侧偏角，并有：/n /n /n步骤4：利用式(6)定义深度强化学习方法的车辆状态参数s：/ns＝{w,β,sw,w_d,β_d} (6)/n步骤5：利用式(7)定义深度强化学习方法的动作参数a：/na＝{▽δ,▽M} (7)/n式(7)中，▽δ为方向盘修正转角，▽M为附加横摆力矩；/n步骤6：利用式(8)建立深度强化学习方法的奖励函数r：/nr＝r_e+r_ps+r_v+r_m+r_sw+r_st (8)/n式(8)中，r_e为误差奖励函数，并有：/nr_e＝-▽w²-▽β²+50 (9)/n式(9)中，▽w为横摆角速度误差，▽β为质心侧偏角误差，并有：/n▽w＝w-w_d (10)/n▽β＝β-β_d (11)/n式(8)中，r_ps为固定奖励值函数，并有：/n /n式(8)中，r_v为速度差奖励函数，并有：/n /n式(8)中，r_m为附加横摆力矩奖励函数，并有：/n /n式(8)中，r_sw为修正角奖励函数，并有：/nr_sw＝-|▽δ|+10 (15)/n式(8)中，r_st为稳定域奖励函数，并有：/nr_st＝-(|▽δ|+|▽M|)/10 (16)/n步骤7：构建深度强化学习方法的网络模型：/n步骤7.1：构建动作网络模型，包括：包含一个神经元的一层输入层，各自包含n₁个神经元的m₁层隐藏层，包含2个神经元的一层输出层；初始化动作网络参数为θ^μ；/n步骤7.2：构建评价网络模型，包括：各包含1个神经元的两层输入层，各自包含n₂个神经元的m₂层隐藏层，其中，第m₂层隐藏层为全连接层，包含1个神经元的一层输出层；初始化评价网络参数为θ^Q；/n步骤7.3：构建与所述动作网络模型结构相同的目标动作网络模型，且令目标动作网络参数θ^μ′＝θ^μ，构建与所述评价网络模型结构相同的目标评价网络模型，且令目标评价网络参数θ^Q′＝θ^Q；/n步骤8：由第i条样本形成N条样本：/n初始化第i个车辆状态参数s_i，并以第i个车辆状态参数s_i作为所述动作网络模型的输入，由所述动作网络模型输出μ(s_i|θ^μ)；/n利用式(17)得到第i个车辆动作参数a_i：/na_i＝μ(s_i|θ^μ)+N_i (17)/n式(17)中，N_i表示第i个随机噪声；/n根据式(8)获取第i个车辆奖励值r_i，并得到更新后的第i个车辆状态参数s′_i；从而得到获得第i条样本，记为(s_i,a_i,r_i,s′_i)，进而得到N条样本；/n步骤9：用所述N条样本对所述深度强化学习方法的网络模型进行训练，从而得到得到最优动作网络模型和最优评价网络模型；/n步骤10：判断式(18)和式(19)是否均成立，若均成立，则表示汽车处于稳定状态，否则，表示汽车处于不稳定状态，并执行步骤11：/n /n|▽w|≤|ε·w_d| (19)/n式(18)中，k₁为稳定域第一边界系数，k₂为稳定域第二边界系数；为质心侧偏角速度；/n式(19)中，ε为可调参数；/n步骤11：获取车辆当前状态参数s_t作为最优动作网络模型的输入，从而利用所述最优动作网络模型输出当前附加横摆力矩▽M_t和修正转角▽δ_t；/n步骤12：判断式(20)是否成立，若成立，则表示汽车的转向性质为不足转向，则令动作车轮为内后轮，并执行步骤13，否则，表示汽车的转向性质为过多转向，则令动作车轮为外前轮，并执行步骤14；/nw_d×(w-w_d)＞0 (20)/n步骤13：若δ_f＞0，则令修正转角▽δ_t的方向向左，若δ_f＜0，则令修正转角▽δ_t的方向向右；/n步骤14：若δ_f＞0，则令修正转角▽δ_t的方向向右，若δ_f＜0，则令修正转角▽δ_t的方向向左。/n