[发明专利]一种重型营运车辆的后向防撞驾驶决策方法

权利要求书

1.一种重型营运车辆的后向防撞驾驶决策方法，其特征在于：该方法包括如下步骤：

步骤一：建立虚拟交通环境模型：面向高等级公路，建立虚拟交通环境模型，即包含直道和弯道的三车道虚拟环境模型；重型营运车辆在交通环境模型中运动，目标车辆跟随重型营运车辆进行运动，期间包括加速、减速、匀速、变道4种不同的行驶工况；

所述建立虚拟交通环境模型的过程中通过安装在每辆车上的厘米级高精度差分GPS、惯性测量单元和毫米波雷达，实时地获取车辆运动状态信息，包括：两车的位置、速度、加速度、相对间距、相对速度；通过安装在车辆尾部的视觉传感器，实时地获取目标车辆的类型；通过CAN总线读取驾驶员操控信息，包括：车辆的节气门开度、方向盘转角；

所述目标车辆是指位于重型营运车辆行驶道路后方，且位于同一车道线内、行驶方向相同、距离最近的车辆，包含小型、中型和大型车辆3种类型；

步骤二：建立后向碰撞危险评估模型；具体包括：

首先，计算重型营运车辆与目标车辆发生碰撞所需的时间：

式(1)中，RTTC(t)表示t时刻的后向距离碰撞时间，单位为秒，x_c(t)为车间距离，单位为米，v_F(t),v_R(t)分别表示重型营运车辆和目标车辆的速度，vr(t)为两车的相对速度，单位均为米每秒，且v_r(t)＝v_F(t)-v_R(t)；

其次，计算后向碰撞危险程度；当后向距离碰撞时间不小于2.1秒，且不大于4.4秒时发出后向碰撞报警，表示后向碰撞预警系统测试通过；基于此，对后向碰撞危险程度进行量化：

式(2)中，δ_w为后向碰撞危险的量化值；当δ_w≥1时，表示无后向碰撞危险；当0.5≤δ_w≤1时，表示存在后向碰撞危险；当0≤δ_w≤0.5时，表示后向碰撞危险程度非常高；

步骤三：建立重型营运车辆的后向防撞驾驶决策模型：综合考虑交通环境、车辆运行状态、后方车辆类型、后向碰撞危险程度对后向碰撞的影响，建立重型营运车辆的后向防撞驾驶决策模型，采用PPO算法建立后向防撞驾驶决策模型，通过与目标车辆运动随机过程模型进行交互式迭代学习，得到后向防撞的最优决策，具体包括以下4个子步骤：

子步骤1：定义后向防撞驾驶决策模型的基础参数

首先，将后向防撞驾驶决策问题描述为一定奖励函数下的马尔科夫决策过程(S,A,P,r)，其中，S为状态空间，A为后向防撞动作决策，P表示由于目标车辆运动不确定性而导致的状态转移概率，r为奖励函数；其次，对马尔科夫决策过程的基础参数进行定义，具体地：

(1)定义状态空间

利用步骤一输出的车辆运动状态信息和步骤二输出的后向碰撞危险程度，建立状态空间表达：

S_t＝(v_{F_lon},a_{F_lon},v_{r_lon},a_{r_lon},θ_str,p_thr,L_r,δ_w,T_m) (3)

式(3)中，S_t为t时刻的状态空间，v_{F_lon},v_{r_lon}分别表示重型营运车辆的纵向速度和两车的相对纵向速度，单位为米每秒，a_{F_lon},a_{r_lon}分别表示重型营运车辆的纵向加速度和两车的相对纵向加速度，单位为米每二次方秒，θ_str为车辆的方向盘转角，单位为度，p_thr为节气门开度，单位为百分数，L_r为相对车间距，单位为米，δ_w,T_m分别表示后向碰撞危险程度和目标车辆类型，m＝1,2,3分别表示目标车辆为大型车辆、中型车辆和小型车辆，在本发明中，取T_m＝m；

(2)定义动作决策

为了综合考虑横向运动和纵向运动对后向碰撞的影响，本发明将方向盘转角和节气门开度作为控制量，定义决策模型输出的驾驶策略，即动作决策：

A_t＝[θ_{str_out},p_{thr_out}] (4)

式(4)中，A_t为t时刻的动作决策，θ_{str_out}表示归一化后的方向盘转角控制量，范围为[-1,1]，p_{thr_out}表示归一化后的节气门开度控制量，范围为[0,1]；当p_{thr_out}＝0时，表示车辆未进行加速，当δ_brake＝1时，表示车辆以最大加速度进行加速；

(3)建立奖励函数

为了评价动作决策的优劣程度，通过建立回报函数的方式，将评价具体化和数值化；考虑到后向防撞驾驶决策是一个涉及安全性、舒适性目标在内的多目标优化问题，本发明将奖励函数设计为：

r_t＝r₁+r₂+r₃ (5)

式(5)中，r_t为t时刻的奖励函数，r₁为安全距离奖励函数，r₂为舒适性奖励函数，r₃为惩罚函数；

首先，设计安全距离奖励函数r₁：

式(6)中，L_r,L_s分别表示相对车间距和安全距离阈值，ω_d为安全距离权重系数，在本发明中，取ω_d＝0.85；

其次，设计舒适性奖励函数r₂：

r₂＝ω_j|a_{F_lon}(t+1)-a_{F_lon}(t)|(7)

式(7)中，ω_j为舒适性权重系数，在本发明中，取ω_j＝0.95；

最后，设计惩罚函数r₃：

(4)设计期望最大的策略

式(9)中，π^*为期望最大的策略，π为后向防撞决策策略，γ为折扣因子，且γ∈(0,1)，τ(π)表示在策略π下的轨迹分布；

子步骤2：设计后向防撞驾驶决策模型的网络架构

利用“Actor-Critic”网络框架搭建后向防撞驾驶决策网络，包括Actor网络和Critic网络两部分；其中，Actor网络将状态空间信息作为输入，输出动作决策，即重型营运车辆的节气门开度和方向盘转角控制量；Critic网络将状态空间信息和动作决策作为输入，输出当前“状态-动作”的价值；具体地：

(1)设计Actor网络

建立分层级编码器结构，分别对状态空间中的各类信息进行特征提取；首先，构建3个串行连接的卷积层C_F1,C_F2,C_F3和1个最大池化层P₁，对车辆的运动状态信息进行特征提取，并将其编码为中间特征向量h₁；利用相同的结构，即3个串行连接的卷积层C_R1,C_R2,C_R3和1个最大池化层P₂，对前后两车的相对运动状态信息进行特征提取，并将其编码为中间特征向量h₂；利用卷积层C_W1和最大池化层P₃对碰撞危险程度和目标车辆类型进行特征提取，并将其编码为中间特征向量h₃；其次，将特征h₁,h₂,h₃结合并连接全连接层FC₄和FC₅，输出动作决策；

其中，设置卷积层C_F1,C_F2,C_F3,C_R1,C_R2,C_R3,C_W1的神经元数量分别为20,20,10,20,20,10,20，设置全连接层FC₄,FC₅的神经元数量为200；各卷积层和全连接层的激活函数均为线性整流单元，其表达式为f(x)＝max(0,x)；

(2)设计Critic网络

利用多个隐藏层结构的神经网络建立Critic网络；首先，将状态空间S_t输入到隐藏层FC_C1中；同时，将动作决策A_t输入到隐藏层FC_C2中；其次，隐藏层FC_C1和FC_C2通过张量相加的方式进行合并；最后，依次通过全连接层FC_C3和FC_C4后，输出Critic网络的值；

其中，设置FC_C1层和FC_C2层的神经元数量为400，其余隐藏层的神经元数量均为200，各层的激活函数均为ReLU；

子步骤3：训练后向防撞驾驶决策模型

利用损失函数J_actor和J_critic对网络参数进行梯度更新，具体训练过程如下：

子步骤3.1：初始化Actor网络和Critic网络；

子步骤3.2：进行迭代求解，每一次迭代包括子步骤3.21至子步骤3.4，具体地：

子步骤3.21：进行迭代求解，每一次迭代包括子步骤3.211至3.213，具体地：

子步骤3.211：利用步骤一的虚拟交通环境模型得到车辆的运动控制操作；

子步骤3.212：利用Actor网络得到样本数据(S_t,A_t,r_t)；

子步骤3.213：结束循环，得到样本点集[(S₁,A₁,r₁),(S₂,A₂,r₂),...,(S_t,A_t,r_t)]；

子步骤3.22：计算优势函数；

式(10)中，为优势函数，V(S_t)表示状态S_t的值函数；表示应该增加采取当前动作的可能性，表示应该减小采取该动作的可能性；

子步骤3.23：进行迭代求解，每一次迭代包括子步骤3.231至3.233，具体地：

子步骤3.231：计算Actor网络的目标函数；

子步骤3.232：更新Actor网络参数J_actor：

式(11)中，p_t(θ)表示在策略更新过程中新策略π_θ与旧策略π_{θ_old}在动作决策分布上的比值，且clip(·)表示裁剪函数，ε为常数，在本发明中，取ε＝0.25；

子步骤3.233：更新Critic网络参数J_critic：

子步骤3.234：结束循环；

子步骤3.3：按照子步骤3.2提供的方法进行迭代更新，使Actor网络和Critic网络逐步收敛；在训练过程中，若车辆发生后向碰撞或侧翻，则终止当前回合并开始新的回合进行训练；当迭代达到最大步数或模型能够稳定准确地进行后向防撞驾驶决策时，训练结束；

子步骤4：利用后向防撞决策模型输出决策策略

将厘米级高精度差分GPS、惯性测量单元、毫米波雷达、CAN总线获取的信息输入到已训练的后向防撞驾驶决策模型中，可以定量输出合理的方向盘转角和节气门开度控制量，为驾驶员提供有效、可靠的后向防撞驾驶建议，从而实现了有效、可靠、具有自适应性的重型营运车辆后向防撞驾驶决策。