[发明专利]一种基于强化学习可变限速控制的快速道路通行效率改善方法

摘要

一种基于强化学习可变限速控制的快速道路通行效率改善方法。基于强化学习方法实时确定可变限速值，智能体依据交通流数据感知快速道路上交通流运行状态，针对当前状态选择一个限速值动作并计算该动作导致的状态转移的回报值，智能体遍历所有状态‑动作组合直到所有状态‑动作的回报值收敛，智能体离线习得不同交通流状态下的最优限速值动作。依据实时交通流数据智能体自主选择当前状态对应的最优限速值并发布，同时将控制后的交通流数据和限速值传回控制中心使智能体持续学习。本发明弥补了之前可变限速控制中交通流状态和限速值之间对应关系确定的主观随意性，提高了控制系统的抗干扰能力，通过智能体持续挖掘可变限速值对通行效率改善的影响规律，实现依据实时交通流数据对可变限速值进行反馈调节，有效提升了瓶颈路段可变限速控制下道路的通行效率。

主权项

一种基于强化学习可变限速控制的快速道路通行效率改善方法，其特征是包括步骤：1)确定快速道路瓶颈路段及可变限速控制路段范围，以合理间距设置交通流检测器，获取快速道路瓶颈路段一段时间内的真实交通流数据，在可变限速控制路段上游端设置可变限速指示牌，用于发布可变限速值；2)确定强化学习方法中的交通流状态集和动作集，状态集包括瓶颈位置上下游及匝道的密度信息，因此交通流状态集中的每个元素是一个记录了瓶颈位置上下游及匝道的密度的状态向量S，在自由流、拥堵状态和关键密度附近分别对交通流状态进行划分；动作集为不同限速值，应在路段允许的最高和最低限速值之间，即VSL∈{Vmin,Vmax}，同时考虑到驾驶员对限速值的接受情况，发布的限速值取为5或10的整数倍；3)基于提高快速道路通行效率这一目标确定强化学习的著名算法Q学习算法中的回报函数，所述Q学习方法中回报函数依据路段交通流密度设置，假设各交通流密度对应的回报函数服从泊松分布，回报函数表达式如下：$R\left(s\right)=\mathrm{\μ}g\mathrm{Pr}(X=s)=\mathrm{\μ}g\frac{{\mathrm{\λ}}^s{e}^{-\mathrm{\λ}}}{s!}$其中，R(s)为状态s对应的回报值，μ为决定回报值幅度的参数，缺省值为1×104，Pr(X＝s)为状态s的概率函数，λ为泊松分布参数，缺省值为26.9辆/英里；4)基于步骤1)中采集到的交通流和可变限速控制状态数据库训练智能体，步骤包括：401)初始化，Q学习中的参数Q值反映不同状态下选择不同动作的长期回报，初始状态下将所有“状态‑行为”对应的Q值设置为零，将可变限速控制前后5分钟的数据集计后用于判断交通流状态的转移情况；402)基于步骤401)中的初始化数据开始Q学习，在Q学习每一个时间步中，首先判断当前交通流状态，再判断当前状态是否已执行20次动作选择，若是，则进入步骤403)；若不是则强制智能体尝试当前状态对应的不同动作实现“状态‑行为”集的遍历，再进入步骤404)；403)采用softmax动作选择策略根据下式计算当前状态下选择各动作的概率：$P_s\left(a\right)=\frac{e^{Q(s,a)/T}}{{\mathrm{\Σ}}_{b\∈A}{e}^{Q(s,a)/T}}$其中，P_s(a)为在状态s下选择行动a的概率，T为退火温度，Q_t(s,a)为当前时刻“状态‑行为”对应的Q值；404)将步骤3)中计算得到的“状态‑行为”回报值和步骤402)或步骤403)中做出的动作选择带入下式更新Q值：Q_t+1(s_t,a_t)＝R_t+1+0.8×max Q_t(s_t+1,a_t+1)其中，Q_t+1(s_t,a_t)为t+1时刻对应的Q值，Q_t(s_t+1,a_t+1)为t时刻对应的Q值，R_t+1为t+1时刻对应的回报函数值；405)判断Q值是否收敛，若是则将每个状态下最大Q值对应的动作确定为最优控制策略；若不是，则返回步骤3)转入下一个时间步；5)基于步骤405)中给出的最优可变限速控制策略，检测当前交通流检测器的数据并依据步骤2)确定的状态划分确定主线及匝道的交通流状态，采用训练后的智能体实时选择当前交通流状态下的最优限速值并传递至可变限速控制指示牌发布限速值；6)实时采集步骤5)中发布最优限速值后的交通流数据和限速值并传回控制系统，智能体依据新的交通流数据和限速值重复步骤4)持续学习最优控制策略。