[发明专利]一种基于深度强化学习的自适应交通信号控制系统及方法

权利要求书

1.一种基于深度强化学习的自适应交叉口交通信号控制系统，其特征在于，包括交互模块和更新模块；所述交互模块包括状态感应模块、第一Q值网络和控制决策模块，所述更新模块包括第二Q值网络、回放记忆池和误差模块；所述第一Q值网络为当前值网络，所述第二Q值网络包括所述当前值网络和目标值网络；

所述状态感应模块，用于获取交叉口的交通信息o_t，将交通信息o_t保存到容量为ξ的记忆堆中，构建当前时刻交叉口的交通状态s_t，并将交通状态s_t传入所述当前值网络；

所述当前值网络，用于控制所述控制决策模块的输入，且所述当前值网络在所述更新模块中不断更新；

所述控制决策模块，根据当前的交通状态s_t，从所述当前值网络选取相应的动作a_t，根据动作a_t决定交叉口在当前时刻是否跳转相位；

所述回放记忆池，存储用于更新当前值网络的相关数据；

所述第二Q值网络中所述目标值网络为所述当前值网络每隔C步的拷贝；所述第二Q值网络用于对不同的交通状态实时给出合适的相位控制动作a_t；

所述误差模块，基于小批次数据更新当前值网络的参数；

所述状态感应模块从时间和空间两个维度收集交叉口的交通信息o_t，具体为：

o_t＝[D_t，p_t，c_t]

式中，D_t为交叉口车辆延误行向量，p_t∈{0，1，2，3}为交叉口在t时刻内所处的相位编码，c_t为交叉口持续当前相位不翻转次数；

式中，D_t能够反映当前交叉口车辆行驶信息，D_t的计算方法为：

式中，将控制交叉口所在道路进行离散化网格处理，共得到[1/c]个网格，形成[1/c]维度的行向量D_t；D_t由网格延误组成，的计算方式为：

若网格i内无车，对应位置的为0；否则，利用车辆行驶信息和交叉口地理位置定义代表在t时刻结束时处于网格i的车辆的集合，代表在t时刻结束时处于网格i的车辆的数目；d_t(k)代表车辆k在时刻t内所产生的延误，即t时刻内针对车辆k实际行程距离l_t(k)理想的行程时间和实际的行程时间Δt的差值，其中延误d_t(k)值为负数；

式中，交叉口持续当前相位不翻转次数c_t计算如下：

所述控制决策模块根据动作a_t决定交叉口在当前时刻是否跳转相位，具体为：

交叉口控制时间周期T通过Δt划分为若干小段，并以时间t命名；若动作a_t＝0，则交通信号维持原相位不变，即p_t＝p_t-1，c_t＝c_t-1+1，并持续Δt秒；

若选择动作a_t＝1，则交通信号灯翻转进入下一相位，且相位p_t在0，1，2，3四个相位循环，即p_t-1＝0，1，2时p_t＝(p_t-1+1)，当p_t-1＝3时，p_t＝0；c_t＝0，持续t_yellow+Δt秒，其中t_yellow为黄灯过渡时间。

2.根据权利要求1所述一种基于深度强化学习的自适应交叉口交通信号控制系统，其特征在于，所述构建当前时刻交叉口的交通状态st的方法为：

s_t＝[o_t-ξ+1，o_t-ξ+2，…，o_t]

式中，ξ代表记忆堆的容量，表明时间维度上向前回看的时间步数。