[发明专利]一种城市级智能交通信号控制系统及方法

权利要求书

1.一种城市级智能交通信号控制系统，其特征在于，包括仿真平台搭建模块、仿真环境、信号智能控制模块和信号控制设备；所述的仿真平台搭建模块用于建立与实际路网一致的仿真模型；所述的仿真环境用于搭建完成可执行交通仿真的区域、路口环境；所述的信号智能控制模块包括离线训练部分和在线应用部分，所述离线训练部分选择深度强化学习算法进行最优控制方案生成训练，在线部分使用所述离线训练部分生成的模型和实时数据计算最优控制方案；

所述的信号控制设备用于执行控制方案；

其中信号智能控制模块包括1个高层级环境、1个低层级环境、1个高层级智能体、M个低层级智能体和深度强化学习算法；

所述高层级智能体从所述高层级环境和所述低层级智能体中获取观察值I和奖励值I，基于深度强化学习算法I，搜索高层级智能体可执行动作，产生高层级动作，将高层级动作传输给所述低层级智能体；所述低层级智能体从所述低层级环境中获取观察值II和奖励值II，基于深度强化学习算法II，搜索低层级智能体可执行动作，产生低层级动作，形成控制方案，将控制方案传输给所述信号控制设备；所述观察值II：区域或路口各车道绿灯结束至绿灯开启时刻排队车辆的最大值V_imax，绿灯开始至绿灯结束时刻排队车辆的最小值V_imin，i指车道编号，i＝(1，2，…，n)，路口车道数量为n；

所述奖励值II：其中，所述观察值I：T个周期的观察值II，奖励值II，其中T个周期为高层级环境和低层级环境的映射关系；

所述奖励值I：T个周期内M个所述低层级智能体的奖励值II的均值；高层级智能体可执行动作：可选相位的排列组合；

高层级动作：最佳可选相位的排列组合，即最佳相位方案，满足长期奖励值I最大的相位方案；

低层级智能体可执行动作：在最佳相位方案下可选各相位的绿信比的变化量；

低层级智能体动作：在最佳相位方案下最佳各相位的绿信比的变化量，满足长期奖励值II最大的各相位绿信比的变化量。

2.根据权利要求1所述的一种城市级智能交通信号控制系统，其特征在于：所述的仿真平台搭建模块包括历史数据单元和静态路网信息单元，用于校验仿真系统模型参数和路网路口仿真模型搭建；其中，历史数据单元中的数据包括信号设备运行数据和交通检测器数据，历史数据单元包括数据采集单元、数据存储单元和数据预处理单元；路网静态信息单元中的信息包括路网信息，信号设备方案配置信息，速度数据及道路限速数据；

所述的数据采集单元用于交通状态数据和运行控制方案数据的采集，采集时预设相隔固定时间进行一次数据采集；所述的数据存储单元将数据采集单元传回的数据全部存储至历史数据库，保存有信号设备的所有运行记录，所有的数据按照固定格式建立完备；所述的数据预处理单元将存储的历史数据做一定的预处理，使得数据的可用性指标和可用率指标高于90％，以保证仿真系统真实性；所述的数据预处理单元的处理方法包括：

(i)针对数据异常问题进行清洗与修正，先利用统计学中的t检验法判断数据是否为异常值，再针对异常值采用样条函数进行插值；

(ii)针对数据缺失问题，利用多元线性回归模型进行修复；将已有的数据作出散点图，并作多元回归，求出多元线性回归多项式，以及置信区间；作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好，即可补充出缺失的数据；

所述的路网信息为路网静态数据，包括渠化信息、路口形状、路段信息、相邻路口信息，其中渠化信息包括进出口道方向，进出口车道数量和各自车道的功能，检测器编号及检测器所处位置；所述的信号设备方案配置信息为路口的信号设备系统编号，配置的静态相位信息包括名称和具体指示的流向，相序信息，是否存在子灯及子灯配置相位信息，是否与相邻路口存在协调及协调相位差及其他备注信息；所述的速度数据及道路限速数据来源于地图开放数据，以请求开放的实时接口的形式获得。

3.根据权利要求1所述的一种城市级智能交通信号控制系统，其特征在于：

所述离线训练部分：通过仿真过程完成所述高层级智能体和低层级智能体以及相应的深度强化学习算法的训练，所述仿真过程如下：所述信号智能控制模块从仿真环境获取高层级环境和低层级环境，输出控制方案；所述信号控制设备获取所述控制方案执行所述控制方案；所述仿真平台搭建模块获取信号控制设备的执行数据，运行产生所述仿真环境。