[发明专利]交叉口交通信号控制方法和设备

摘要

本发明涉及一种交叉口交通信号控制方法，该方法能够根据交通状态，通过环境反馈进行学习，从而实现对交通信号的自适应控制。该方法包括：定义系统参数；建立Action网络和Critic网络；初始化控制器；根据系统状态得到相应系统控制参数；根据状态和动作得到性能指标；交替训练Critic网络和Action网络；达到训练目标之后记录网络权值；以及使用训练好的Critic网络和Action网络进行在线控制。本发明利用ADHDP方法对交叉口交通信号的自适应控制提供了一种有效途径。

主权项

1.一种用于交叉口交通信号控制的ADHDP控制器离线训练方法，该ADHDP控制器包括Action网络和Critic网络，该方法包括：在步骤S1，定义系统状态、回报函数、绿信比和系统控制参数；在步骤S2，建立Action网络和Critic网络，其中：Action网络为具有一个隐层的BP神经网络，其中输入层神经元个数为P，输出层神经元个数为P-1，隐层的神经元个数为Ma，Ma为经验值；以及Critic网络为具有一个隐层的BP神经网络，其中输入层神经元个数为2P-1，输出层神经元个数为1，隐层的神经元个数为Mc，Mc为经验值；在步骤S3，初始化ADHDP控制器，包括：初始化Action网络权值和初始化Critic网络权值；在步骤S4，在每个控制周期结束前，获取系统状态，输入至Action网络，输出相应系统控制参数u(k)，将系统控制参数u(k)输出至仿真软件以指导下一个周期的运行；在步骤S5，将系统状态S(k)和系统控制参数u(k)输入至Critic网络，输出性能指标J(k)；在步骤S6，交替地根据性能指标和回报函数训练Critic网络以及根据性能指标训练Action网络，以更新Critic网络的权值和Action网络的权值；以及在步骤S7，判断是否达到预期设定的目标：当达到预期设定的目标时，在步骤S8，离线训练结束，记录最终的Action网络的权值和Critic网络的权值；否则，返回步骤S6继续训练。