[发明专利]一种基于深度强化学习的自适应交通信号控制系统及方法

摘要

本发明属于智能交通领域，提出一种基于深度强化学习的自适应交通信号控制系统及方法。本发明利用交互模块实现交叉口环境和控制器的实时交互，即由状态感知模块实时采集交叉口交通状态以及通过控制决策模块给出当前交通状态下的优化决策方案；同时，本发明可以由更新模块，采用强化学习的框架，不断更新控制器内部的控制核心(Q值网络)，以进一步提高未来控制方案的优化效果。本发明可以在时间和空间两个维度上综合收集各种影响因素；利用循环神经网络，提高对于高维输入矩阵的特征抽取能力和泛化能力；可以实现自适应交通信号控制中对复杂性、实时性、动态性、随机性、适应性等要求，提高交叉口交通控制的效率，降低出行延误。

主权项

1.一种基于深度强化学习的自适应交叉口交通信号控制系统，其特征在于，包括交互模块和更新模块；所述交互模块包括状态感应模块、第一Q值网络和控制决策模块，所述更新模块包括第二Q值网络、回放记忆池和误差模块；所述第一Q值网络为当前值网络，所述第二Q值网络包括所述当前值网络和目标值网络；所述状态感应模块，用于获取交叉口的交通信息o_t，将交通信息o_t保存到容量为ξ的记忆堆中，构建当前时刻交叉口的交通状态s_t，并将交通状态s_t传入所述当前值网络；所述当前值网络，用于控制所述控制决策模块的输入，且所述当前值网络在所述更新模块中不断更新；所述控制决策模块，根据当前的交通状态s_t，从所述当前值网络选取相应的动作a_t，根据动作a_t决定交叉口在当前时刻是否跳转相位；所述回放记忆池，存储用于更新当前值网络的相关数据；所述第二Q值网络中所述目标值网络为所述当前值网络每隔C步的拷贝；所述第二Q值网络用于对不同的交通状态实时给出合适的相位控制动作a_t；所述误差模块，基于小批次数据更新当前值网络的参数。