[发明专利]一种基于合作式多智能体强化学习的交通信号灯控制方法

说明书

本发明公开了一种基于合作式多智能体强化学习的交通信号灯控制方法。该方法克服了传统强化学习单独控制各个路口的信号灯，没有考虑它们之间的相关性的缺点，提出了一种双层协调控制策略，通过局部合作机制和全局合作机制对路网中的交通信号灯进行协调控制。同时，该方法将车辆排放因素考虑在内，可以在改善路网交通状态的同时尽可能的减少车辆排放。

技术领域

本发明涉及智能交通信号控制技术领域，尤其涉及一种基于合作式多智能体强化学习的交通信号灯控制方法。

背景技术

我国机动车移动污染源保有量大、增速快，极易造成交通拥堵，并引发严重的空气污染、噪声污染等环境问题。相比于新建、扩建道路等改善交通状况的方法，利用路口交通信号灯对路网交通状况进行调度优化具有更强的经济性、实用性，这也符合我国提出的数字城市和智慧城市的发展理念，强化学习是解决交通信号灯控制问题的代表性方法。

传统交通信号灯，无论交叉路口各个方向车辆数目如何变化，信号时间间隔都是不变的，这就很容易导致交通堵塞，增加车辆排放。为了改善路口的交通状况，人们将强化学习应用到交通信号灯控制任务中，与传统交通信号灯控制方法相比取得了更好的控制效果。然而很多基于强化学习的控制算法都单独的控制各个路口的交通信号灯，没有明确的考虑相邻路口之间的相互作用，即一个路口信号灯变化如何影响附近路口的交通状况。

随着经济的发展和社会的进步，道路运输对环境造成了严重的影响，引起了人们的广泛关注。交通规划师和交通工程师在解决交通问题或优化交通系统时，不再只关注拥堵，如何减少车辆排放问题也得到重视。车辆的运行模式与车辆排放密切相关，如车辆加速、减速、怠速和走走停停等情况都会增加车辆排放。而在交通网络中，路口的交通情况最为复杂，车辆在路口反复分流、合并、交叉。交通情况复杂，使得路口成为制约城市道路交通功能的瓶颈，该区域车辆排放明显高于其他区域。因此，通过合理的交通信号灯调控可以有效减少车辆排放。

综上所述，需要设计一种基于合作式多智能强化学习的交通信号灯方法，从而在改善路网交通状态的同时尽可能的减少车辆排放。

发明内容

本发明针对上述问题及技术需求，提出了一种基于合作式多智能体强化学习的交通信号灯控制方法。本发明通过减少因红灯产生的车辆等待情况，从而最小化路口车辆的等待时间和排放，进而达到在改善交通拥堵的同时尽可能的减少通过交叉口的车辆排放的目的。

本发明的包括以下步骤：

步骤一：构建道路交叉口和交通信号灯的路网模型；

路网模型使用交通仿真软件SUMO附带的软件Netedit搭建；

搭建的道路交叉口中，分为左转、直行和右转车道。交通信号灯的控制分信号分别为南北方向直行、南北方向左转、东西方向直行、东西方向直行。为了保证安全，防止直接切换相位引发交通事故，在上述四个相位切换之间设计一个黄信号灯进行过渡。

步骤二：基于强化学习的交通信号灯控制模型构建；

(a)状态空间State设计

对于单个交叉口，使用当前信号灯的相位、每个车道车辆等待队列的长度、每个车道的车辆密度以及每个车道的车辆排放浓度来表示状态。其中，表示当前信号灯相位的矩阵P表示信号灯的当前状态；每个车道车辆等待队列的长度矩阵Q和每个车道的车辆密度矩阵D用来描述交叉口的实时交通状况；每个车道的车辆排放浓度矩阵E用来描述交叉口的实时车辆排放。

(b)动作空间Action设计

交通信号灯的相位选择称为信号灯控制Agent的动作，我们设计了四种动作分别为：(1)南北方向直行(SN-G)；(2)南北方向左转(SNL-G)；(3)东西方向直行(EW-G)；(4)东西方向左转(EWL-G)。

(c)奖励函数Reward设计