[发明专利]用于网格状路网的交通信号管控系统和设备

说明书

本发明实施例公开了用于网格状路网的交通信号管控系统和设备，包括多个交通管控智能体，网格状路网包括多个交叉路口，网格状路网设置有道路检测设备和道路信号设备，交通管控智能体与交叉路口一一对应设置；交通管控智能体单向串联组成节点链条，节点链条中相邻的两个交通管控智能体对应相邻的两个交叉路口；交通管控智能体用于根据节点链条中上游的交通管控智能体的动作计算结果，以及对应的交叉路口的道路检测设备检测到的交通数据，基于预训练的模型，实时生成对应的交叉路口的信号控制指令，并将信号控制指令发送到道路控制设备。本方案减少交通信号管控优化过程中深度学习的动作和状态空间搜索，克服集中式控制中维度过大的问题。

技术领域

本发明实施例涉及公共服务技术领域，尤其涉及用于网格状路网的交通信号管控系统和设备。

背景技术

交通拥堵是如今城市的一个主要公共服务问题，不仅会造成巨大的经济损失，还会增加交通事故。交通信号管控优化是缓解城市交通拥堵的重要手段。现有的交通信号管控优化除了人工根据实际情况和经验的优化，还有基于强化学习框架的交通信号管控方法，作为一类较为先进的方法可以实现实时优化。运用强化学习框架，能够根据来自交通环境的反馈主动学习最佳管控策略，例如，在一种普遍的基于强化学习的交通管控优化方法中，强化学习Agent通过观察交通流量得到环境状态(state)，通过输出动作(action)来控制交通红绿灯，以减少流量拥塞或达到其他目标，得到奖励反馈(reward)。

运用传统强化学习的交通管控优化方法建立一个由交通状态和动作组成的 Q表，并通过Q-Learning，SARSA等算法更新Q表。传统的方法更专注于单个路口的管控优化控制，仅适用于离散和低维状态空间，难以应用于具有高维度管控方案和复杂交通状态下的路网。

发明内容

本发明提供了用于网格状路网的交通信号管控系统和设备，以解决现有技术对复杂交通状态下难以实现高维度管控的技术问题。

第一方面，本发明实施例提供了一种用于网格状路网的交通信号管控系统，包括多个交通管控智能体，所述网格状路网包括多个交叉路口，所述网格状路网设置有道路检测设备和道路信号设备，所述交通管控智能体与所述交叉路口一一对应设置，所述道路检测设备用于检测交通数据，所述道路信号设备用于指示所述交叉路口的行进状态；

所述交通管控智能体单向串联组成节点链条，所述节点链条中相邻的两个交通管控智能体对应相邻的两个交叉路口，所述交通管控智能体与对应的交叉路口的道路检测设备和道路控制设备相连；

所述交通管控智能体用于根据所述节点链条中上游的交通管控智能体的动作计算结果，以及对应的交叉路口的交通数据，基于预训练的模型，实时生成对应的交叉路口的信号控制指令，并将所述信号控制指令发送到所述道路控制设备。

其中，所述预训练的模型包括动作计算模型和状态评估模型；

所述动作计算模型用于根据所述节点链条中上游的交通管控智能体的动作计算结果，以及对应的交叉路口的交通数据，基于预训练的模型，实时生成对应的交叉路口的信号控制指令；

所述状态评估模型用于对所述信号控制指令给所述交通数据产生的影响进行评价，并将所述评价反馈到所述动作计算模型，以使所述动作计算模型进行更新。

其中，所述动作计算模型包括递归网络层；

所述递归网络层用于建立所述节点链条中上游的交通管控智能体对当前的交通管控智能体的相关性。

其中，所述动作计算模型通过学习最小化损失值确认信号控制指令。

其中，所述状态评估模型通过计算值函数评价所述信号控制指令。

其中，所述网格状路网中预设第一方向的道路中的交叉路口对应的交通管控智能体依次单向串联。

其中，所述道路检测设备包括摄像头，所述交通数据包括道路图像数据。