[发明专利]基于分布式深度循环Q网络的交通灯控制方法

摘要

本发明公开了一种基于分布式深度循环Q网络的交通灯控制方法，主要解决现有技术难以实现多路口之间协作及对多路口建模出现状态空间过大的问题。其实现方案是：1)读取城市交通路网信息，建立各个路口的车辆交通状态集合，并采用协作图的方法将读取的城市交通路网信息转换为邻接矩阵进行存储；2)根据路网中的车辆等待时间和车辆到达目的地数量，设置通用的性能评价指标；3)从各个路口车辆交通状态集合中获取各个路口各时刻的状态集、动作集和动作奖励值；4)建立分布式深度循环Q网络交通灯控制模型，根据该模型对城市路网交通灯进行控制。本发明能实现各路口之间的协作，避免了状态空间爆炸问题，可用于城市交通管理，减少城市交通拥堵。

主权项

1.一种基于分布式深度循环Q网络的交通灯控制方法，其特征在于，包括如下：(1)读取城市交通路网信息，建立各个路口的车辆交通状态集合，并采用协作图的方法将读取的城市交通路网信息转换为邻接矩阵进行存储；(2)根据实际路网中的车辆等待时间和车辆到达目的地数量，设置通用的性能评价指标；(3)从(1)建立的各个路口车辆交通状态集合中获取各个路口各时刻的状态集、动作集和动作奖励值；(4)根据(3)获取的信息和(1)中的邻接矩阵，建立分布式深度循环Q网络交通灯控制模型：4a)将路口的历史状态值和历史动作值及当前观察的路口m作为输入，通过两个单层的多层神经网络MLP传递，得到中间值再通过长短时间神经网络LSTM得到在每一时刻的隐藏层状态其中，表示元素相加；将每一个历史时刻的数据都按照上述的公式计算，直到当前时刻t的前一时刻t‑1，将t‑1时刻的隐藏层状态设为输出4b)从邻接矩阵获取路口m的四个邻接路口m_e、m_w、m_s、m_n的状态值和动作值计算每一个邻接路口的隐藏层状态：第一个邻接路口的隐藏层状态为第二个邻接路口的隐藏层状态为第三个邻接路口的隐藏层状态为第四个邻接路口的隐藏层状态为将第四个邻接路口的隐藏层状态设为输出4c)将路口m自身历史数据训练得到的输出和其四个邻接路口计算得到的输出通过多层神经网络MLP选择路口m在t时刻的最佳执行动作(5)根据(4)构建的模型对城市路网交通灯进行控制：5a)初始化路网中路口的邻接矩阵及分布式深度循环Q网络中的学习率α＝0.25、折扣因子γ＝0.9、ε‑贪心策略中的ε＝0.01、网络参数θ＝0、迭代上限T＝1000、迭代次数t＝1、隐藏层状态h＝0；5b)根据ε‑贪心策略选择路口的执行动作；5c)对每一个路口执行所选择的动作，并计算获取分布式深度循环Q网络的即时奖励；5d)计算分布式深度循环Q网络的损失函数误差，更新网络参数θ；5e)设t＝t+1，将路口状态s_t转变为s_t+1，5f)判断迭代是否停止，若t小于迭代上限T，转5b)，否则，停止。