[发明专利]一种基于深度强化学习的自适应交通信号控制系统及方法

说明书

本发明属于智能交通领域，提出一种基于深度强化学习的自适应交通信号控制系统及方法。本发明利用交互模块实现交叉口环境和控制器的实时交互，即由状态感知模块实时采集交叉口交通状态以及通过控制决策模块给出当前交通状态下的优化决策方案；同时，本发明可以由更新模块，采用强化学习的框架，不断更新控制器内部的控制核心(Q值网络)，以进一步提高未来控制方案的优化效果。本发明可以在时间和空间两个维度上综合收集各种影响因素；利用循环神经网络，提高对于高维输入矩阵的特征抽取能力和泛化能力；可以实现自适应交通信号控制中对复杂性、实时性、动态性、随机性、适应性等要求，提高交叉口交通控制的效率，降低出行延误。

技术领域

本发明涉及智能交通领域，特别是一种基于深度强化学习的自适应交通信号控制系统及方法。

背景技术

随着中国城市化进程的深入，城市的人口及车辆持续增长，因此城市交通管理十分需要提出一种可以满足动态需求的自适应城市交通信号控制方法。城市交通系统的显著特征有：交通需求的动态波动性、时间和空间不稳定性、影响因素多样化、控制策略较复杂等。

现有技术中的自适应控制方法，多采用模糊控制，神经网络，遗传算法等控制系统方法，现有技术中自适应控制方案有以下特点：由于计算条件及建模原因，大多数自适应控制方案考虑现实交通状况的人工抽取的特征变量，如交通量、密度及速度等，简化交通系统表达的复杂度，进而建立控制模型进行动态交通信号控制，但是城市交通系统是一个巨复杂系统，仅考虑部分人工抽取的特征变量，无法获得城市交通系统的全部信息，进而无法针对一些极端及随机情况进行控制，其次是对一些相似有细微差别的交通情景，无法实现精细化差异控制；同时，大多数自适应信号控制方案，需要大量的计算量以确定信号控制的最优方案，为在计算量和计算精度上达到平衡，现有的自适应交通信号控制的时间粒度可能较大，以提供充足的时间计算相应的优化方案。

强化学习，作为机器学习中重要的一个分支，无须对交通环境的精确建模，可以通过控制器和交通环境的交互来获得不同信号控制策略的反馈，通过多次反馈可以学习不同随机交通环境下控制策略，最终获得不同随机动态交通环境下的最优信号控制策略。以Q学习为典型代表的离线强化学习，可以将城市交通信号控制的学习和控制分离，因此尽管控制器可能需要一段时间来学习交通环境和最优控制策略映射关系，学习好的控制器在面对随机动态的交通环境可以快速地提供实时最优信号控制方案。

传统强化学习在交通控制信号领域的应用，以Q学习为常见。然而，以Q学习为代表的自适应信号控制方案，通常采用人工特征变量作为交通状态，简化交通状况表达的复杂度，无法充分考虑交通状况的各种潜在信息；其次，Q学习核心是以状态-行为值表格的映射关系，导致Q学习有导致较大的状态空间、学习效率低下、控制策略效率低下。

发明内容

针对上述技术问题，本发明提供一种基于深度强化学习的自适应交通信号控制系统及方法，通过构建控制决策模块、状态感应模块、Q值网络、回放记忆池和误差模块，可以实现对单个交叉口的实时响应信号控制，进一步可以有效降低交叉口交通拥堵的延误时间和提高交叉口通行效率。

本发明是通过以下技术方案实现的：

一种基于深度强化学习的自适应交叉口交通信号控制系统，包括交互模块和更新模块；所述交互模块包括状态感应模块、第一Q值网络和控制决策模块，所述更新模块包括第二Q值网络、回放记忆池和误差模块；所述第一Q值网络为当前值网络，所述第二Q值网络包括所述当前值网络和目标值网络；

所述状态感应模块，用于获取交叉口的交通信息o_t，将交通信息o_t保存到容量为ξ的记忆堆中，构建当前时刻交叉口的交通状态s_t，并将交通状态s_t传入所述当前值网络；

所述当前值网络，用于控制所述控制决策模块的输入，且所述当前值网络在所述更新模块中不断更新；