[发明专利]基于双阶段注意力机制和深度强化学习的信号灯控制方法

说明书

本发明公开了一种基于双阶段注意力机制和深度强化学习的信号灯控制方法，首先，根据交叉口路段的实际情况，建立能够反映当前交通网络状态的张量；其次，融合双阶段注意力机制的状态预处理；然后，建立基于深度强化学习算法A2C的交叉口信号控制神经网络模型；最后，利用PPO算法训练交叉口信号控制神经网络模型；将当前交叉口的实际交通状态信息输入训练好的神经网络模型，得到有利于改善当前交通通行指标的信号控制方案。本发明融合了双阶段注意力机制的深度强化学习信号控制模型将具有更强的提取交通状态的细节信息和应对变化的交通状态的能力，在信号控制策略上更具主动性。

技术领域

本发明属于交通信号控制(Traffic Signal Control,TRC)领域，具体涉及一种基于双阶段注意力机制和深度强化学习的信号灯控制方法。

背景技术

现代社会城市交通车流控制压力越来越大，交通运行状态中出现拥堵甚至阻塞的现象越来越多。交叉口是城市交通网络的枢纽和关键节点，交叉口的信号控制是调节城市交通网络中交通流的中主要方式之一，因此改善和优化交通灯的信号控制方案是解决交通拥堵问题的重要手段。当前主流的交通信号灯控制策略通通常基于简化的交通信号控制模型，如SCATS(Sydney Coordinated Adaptive Traffic System)自适应交通控制系统。但是，由于交通信号控制系统是一个涉及人、车和路网环境等因素的复杂大系统，具有高度的不确定性和非线性；因此，基于简化模型的传统方法在实际应用中效果有限。

人工智能、导航定位等技术的不断发展可帮助获取有关车辆位置和速度等更多实时精确的交通信息，为实现交通信号的智能化控制提供了新的契机。深度强化学习(DeepReinforcement Learning，DRL)算法融合了深度学习(Deep Learning，DL)的强信息感知能力和强化学习(Reinforcement Learning，RL)的决策能力，不需要提前掌握城市道路环境和具体的车流状况，神经网络模型通过与城市道路环境的不断交互，在试错中学习经验和获得智能判别的能力，非常适合处理交通信号控制问题。Prashanth等(选择车道排队长度和信号灯时间作为交通信息状态，并将数据离散化为不同级别，该方法在简化交通状态信息复杂度的同时也丢失了部分细节信息。Choe等提出了单交叉口场景下基于循环神经网络(Recurrent Neural Network，RNN)的DQN模型。RNN网络虽然可以学习利用部分历史状态信息，但强化学习的训练过程依赖于一阶马尔可夫决策过程，面对交通流量的变化，其调控能力仍具有一定的滞后性。基于此，本发明设计了一种融合双阶段注意力机制的深度强化学习交通信号灯控制方法。

发明内容

发明目的：本发明提出一种基于双阶段注意力机制和深度强化学习的信号灯控制方法，能够根据当前路况状态调整路口相位，使得当前交通灯控制策略有利于最小化区域交叉口拥堵。

技术方案：本发明所述的一种基于双阶段注意力机制和深度强化学习的信号灯控制方法，包括以下步骤：

(1)根据交叉口路段的实际情况，建立能够反映当前交通网络状态的张量；

(2)利用双阶段注意力机制网络进行状态预处理；第一层注意力机制循环神经网络f₁自适应地选取每个时间步状态x_t的各特征，掌握交通状态空间分布细节信息；第二层注意力机制循环神经网络f₂以每个时间步的前三个历史状态为输入，利用交通状态时序相关性大的特点增强信控模型的主动控制能力；

(3)基于深度强化学习算法A2C建立交叉口信号控制神经网络模型；

(4)利用PPO算法训练交叉口信号控制神经网络模型：利用SUMO搭建路网和车流的仿真环境，神经网络模型通过SUMO的Traci接口与仿真环境交互，将步骤2中预处理后的状态作为强化学习的状态/利用PPO算法训练网络得到最优的交叉口信号控制神经网络模型；