[发明专利]一种基于强化学习的网联车辆信号灯控路口经济通行方法

权利要求书

1.一种基于强化学习的网联车辆信号灯控路口经济通行方法，其特征在于，包括以下步骤：

获取车辆以及路侧环境状态信息，具体包括：

基于无线短波通讯或5G/LTE通讯与路侧设施信息交互，获取信号灯当前状态信息，结合定位系统对车辆实时精准定位；

通过车载传感器检测车辆状态信息，将所述车辆状态信息上传至车载控制单元；

搭建路口通行生态驾驶模型：包括搭建整车纵向动力学模型和搭建路侧信号灯状态交通环境模型，具体包括：

根据车辆纵向动力学分析得出纯电动汽车在行驶过程中所受到的加速阻力、坡道阻力、滚动阻力以及空气阻力，搭建所述整车纵向动力学模型：

其中，m为车辆的质量；δ为汽车旋转换算系数，v为车速；t为进入路口开始所用时间；T_p为电机驱动转矩；i₀为主减速器传动比；η_T为传动效率；r_d为车轮滚动半径；ρ为车辆周围空气密度；A为车辆迎风面积；C_D为空气阻力系数；g为重力加速度；α为地面的倾斜角；f_r为路面滚动阻力系数；

路侧信号灯状态交通环境模型对信号灯的相位周期进行描述，表达式如下：

t_r,t_g,t_y分别表示红灯、绿灯和黄灯的相位时间；π表示圆周率；

利用深度确定性策略梯度算法构建纯电动网联汽车路口通行生态驾驶策略，求解包含整车电池能耗最小通行时间最短的多目标优化问题，得出最优通行速度谱，具体包括：

S1：根据所述获取车辆以及路侧环境状态信息、以及所述路口通行生态驾驶模型，确定当前驾驶环境状态S_t，下标t代表t时刻；

S2：根据所述当前驾驶环境状态S_t，由深度确定性策略梯度算法的Actor-Critic架构中动作估计网络，实时输出策略动作A_t＝μ(S_t|θ_μ)，其中，θ_μ为动作估计网络参数，θ是每层网络的权重，μ为动作估计网络输出的加速度策略；车辆执行A_t，获得奖励值R_t，并进入下一时刻，产生新的驾驶环境状态S_t+1，并将S_t,A_t,R_t,S_t+1信息记录至经验缓存池中；

S3：所述动作估计网络由所述经验缓存池中采样状态数据S_i，计算出由Actor-Critic架构中动作目标网络输出的策略动作μ′(S_i|θ_μ′)，其中，θ_μ′为动作估计网络参数，μ′为动作目标网络输出的加速度策略；

S4：Actor-Critic架构中的价值目标网络利用所述策略动作μ′(S_i|θ_μ′)和从步骤S2所述经验缓存池中采样的状态数据集(S_i,A_i,R_i,S_i+1)，输出价值函数目标值y_i；

y_i＝R_i+Q′(S_i+1,μ′(S_i+1|θ_μ′)|θ_Q′)，其中Q′为所述价值目标网络计算的行为-动作函数值，θ_Q′为价值目标网络参数；

S5：Actor-Critic架构中的价值估计网络利用所述动作估计网络输出的所述策略动作A_t、以及所述当前驾驶环境状态S_t，计算当前动作下的状态-动作累计期望价值Q_Π(s,a)，表示为：

其中，Π是当前采取的加速度策略，E_Π为系统在策略Π下的期望，γ为折扣率；

通过所述价值函数目标值y_i计算损失函数值L(θ_Q)：

计算策略动作的A_t梯度更新价值估计网络参数θ_Q：

其中α为学习率；

S6：利用所述价值估计网络计算的梯度G_t更新动作估计网络的参数θ_μ；

S7：更新所述动作估计网络参数和所述价值目标网络参数τ为更新权重；

S8：当车辆进入路口时，交通环境被初始化，同时初始化各个网络参数，并在第一个步长内选取随机策略，经过循环步骤S1至S7，直至车辆走完当前路口，获得一次训练的回报值其中T为车辆从路口初始位置到通过路口时所花费的时间；

S9：重复步骤S8，经过若干次训练后，将最大化回报值max Return_i，并不断更新网络参数，直至每次通过路口时获得的回报值收敛，完成整个车辆在灯控信号灯路口下经济通行学习过程。