[发明专利]一种基于时间分配和强化学习的交通信号灯控制方法

说明书

本发明公开了一种基于时间分配和强化学习的交通信号灯控制方法，包括：(1)配置仿真路口环境以及车流数据到交通模拟器，搭建智能体网络；(2)智能体网络根据路况状态产生下一信号周期的动作，并交由交通模拟器仿真一个信号周期；(3)把上一信号周期的经验存到重演缓存；(4)从重演缓存中采样经验训练智能体网络，并判断仿真的步数是否达到预设值，如果没有达到，则返回步骤(2)，否则执行下一步；(5)重置交通模拟器并对智能体网络进行测试，完成测试后进行交通信号灯控制的应用。利用本发明，可以显著提升交通效率，能更容易地应用到实际道路上。

技术领域

本发明属于交通信号灯控制领域，具体涉及一种基于时间分配和强化学习的交通信号灯控制方法。

背景技术

一直以来，交通拥堵不仅困扰着世界各国人民的日常出行，而且引起了严重的经济损失。有研究指出低效的交通灯控制信号是导致拥堵频发的最显著原因之一。因此如何去优化交通灯控制机制并实现整体交通效率的提升已经引起了学术界和各国政府的广泛关注。

传统的交通信号灯控制策略大都是依赖交通工程师设计的静态时间表，或者是根据实时的路况信息和人为指定的规则动态地调节交通信号。然而由于真实交通场景的复杂性和多变性，这些方法还有很大的提升空间。由于近年来结合了深度学习的强化学习方法在很多以往一直被人类主导的领域(围棋、电子游戏等)取得了超越人类的优越成绩，所以很多研究者想到了利用深度强化学习的方法设计交通灯控制模型。例如2018年发表在国际顶级数据挖掘会议ACM Knowledge Discovery and Data Mining上的《IntelliLight:AReinforcement Learning Approach for Intelligent Traffic Light Control》在第3页到第6页公布了一种称为IntelliLight的智能信号灯控制方法。然而，该方法和几乎所有现有的基于强化学习实现交通信号灯控制的方法一样，都是属于切换相位型的方法，并不能在真实道路上使用。这里的一个相位(phase)指的是一个路口所有信号灯颜色的一种组合，直观地说，这些颜色组合能指挥哪些车道上的车能够通过路口，哪些车道上的车不能通过路口。

而切换相位型的模型大都是每隔一段较短的时间(一般是5秒左右)就要检查一下连接路口的车道上的车流分布，然后由模型产生一个是否切换到下一个相位的操作信号并立即执行，所以这类方法大都无法直接实现在真实道路上非常重要的倒计时功能。信号灯倒计时能告知司机和准备横穿马路的行人还有多少时间就要改变信号了，让他们有时间提前做好准备，这对提升交通效率和减少交通事故有很大的作用。因此目前真实道路上普遍采用的都是能实现倒计时功能的时间分配型控制方法。

发明内容

本发明提供了一种基于时间分配和强化学习的交通信号灯控制方法，可以显著提升交通效率，能更容易地应用到实际道路上。

本发明的技术方案如下：

一种基于时间分配和强化学习的交通信号灯控制方法，其特征在于，包括：

(1)配置仿真路口环境以及车流数据到交通模拟器，搭建基于强化学习框架的智能体网络；

(2)智能体网络根据路况状态产生下一信号周期的动作，并交由交通模拟器仿真一个信号周期；

所述路况状态包括：上一信号周期使用的配时向量、上一信号周期里每个相位结束时每条车道上的车队长度以及上一信号周期里各个方向上的车流量；

所述的动作记为其中，n表示一个信号周期里相位的个数，a₀表示在本信号周期里沿用上一信号周期里各个相位的配时，a_i(1≤i≤n)表示在延长相位i的持续时间的同时缩短其他相位的持续时间并使整个信号周期的长度不变；

(3)把上一信号周期的经验存到重演缓存；所述的经验包括路况状态、动作和奖励；