[发明专利]一种区域路网交通信号灯协调控制系统和方法

权利要求书

1.一种区域路网交通信号灯协调控制系统，其特征在于，包括云端中心，以及设置于区域内每一交叉口的边缘节点和多源交通数据采集设备，所述边缘节点一端连接对应交叉口的多源交通数据采集设备，另一端连接所述云端中心，临近边缘计算节点之间相互连接；

所述多源交通数据采集设备，用于采集当前交叉口的多源交通数据，并发送至对应的边缘节点；所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据；

所述边缘节点包括：

交通运行状态建模模块，用于获取对应交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据；

单交叉口信号灯配时模块，用于基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，获得对应交叉口的交通信号灯配时优化方案，并上传云端中心；

单交叉口信号灯配时模块具体包括：判断单元，用于判断交叉口的车流通行状况为常规车流态或动态车流态；信号灯配时优化单元，用于若交叉口车流通行状况为常规车流态，则基于强化学习算法，将所述交通运行状态模型作为智能体的状态空间，将初始信号灯配时方案作为智能体的动作空间；通过评估交通运行状态作为奖励机制，构建以所述边缘节点为智能体的强化学习模型；若交通运行状态为动态车流态，则在所述强化学习模型的基础上，修改Q函数中的车辆跟车模式g(Q)，获得动态车流态下的Q函数值，以获得动态车流态下的强化学习模型；

协调优化模块，用于联合云端中心以及区域内其他边缘节点，采用多智能体强化学习方法，协调优化区域内各个交叉口的交通信号灯配时方案；

所述云端中心，用于联合区域内各个边缘节点，采用多智能体强化学习方法，协调优化区域内各个交叉口的交通信号灯配时方案。

2.根据权利要求1所述的区域路网交通信号灯协调控制系统，其特征在于，所述交通运行状态建模模块具体包括：

获取单元，用于获取多源交通数据采集设备采集的多源交通数据；

提取单元，用于分别提取地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征；其中，所述交通流特征为包含时间序列位置信息及移动特征的大规模车辆轨迹数据；

数据融合单元，用于采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，获得交叉口的道路交通状态；

浮动车轨迹处理单元，用于对浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得交叉口的车辆通行状态。

3.根据权利要求1所述的区域路网交通信号灯协调控制系统，其特征在于，所述多智能体强化学习方法包括：

将所述强化学习模型中单智能体的状态和动作分别替换为动态随机环境下的联合状态和联合动作，并在每一个博弈对策阶段，估计均衡策略的值函数，实现多个智能体之间的同时对策，通过如此反复迭代逼近最优策略，以此寻找区域环境下的唯一均衡。

4.根据权利要求1～3任一项所述区域路网交通信号灯协调控制系统的区域路网交通信号灯协调控制方法，其特征在于，包括：

获取对应交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据；

基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，获得对应交叉口的交通信号灯配时优化方案，并上传云端中心；其中，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，获得对应交叉口的交通信号灯配时优化方案，包括：判断交叉口的车流通行状况为常规车流态或动态车流态；若交叉口车流通行状况为常规车流态，则基于强化学习算法，将所述交通运行状态模型作为智能体的状态空间，将初始信号灯配时方案作为智能体的动作空间；通过评估交通运行状态作为奖励机制，构建以所述边缘节点为智能体的强化学习模型；若交通运行状态为动态车流态，则在所述强化学习模型的基础上，修改Q函数中的车辆跟车模式g(Q)，获得动态车流态下的Q函数值，以获得动态车流态下的强化学习模型；

联合云端中心以及区域内其他边缘节点，采用多智能体强化学习方法，协调优化区域内各个交叉口的交通信号灯配时方案。