[发明专利]基于强化学习的多路口交通灯控制方法、系统及存储介质

说明书

本发明公开了基于强化学习的多路口交通灯控制方法、系统及存储介质，通过构建并训练以MADDPG为框架，以多路口交通灯系统控制的多个路口的车流数据作为输入状态，以输入状态对应的信号灯的时序调控动作为输出动作，以t时刻的历史输入状态、历史输入状态对应的历史输出动作、历史输出动作对应的奖赏值、t+1时刻的历史输入状态以及t时刻的历史输入状态对应的历史输出动作平均值作为训练样本的多智能体强化模型，并基于多智能体强化模型获取多路口交通灯系统的最优控制动作，相比现有技术，该方法在训练时将智能体之间的相互影响简化为动作平均值，极大地简化了智能体数量带来的模型空间的增大，能有效缩短解算时间。

技术领域

本发明涉及交通信号灯控制技术领域，尤其涉及基于强化学习的多路口交通灯控制方法、系统及存储介质。

背景技术

随着城市化进程的不断加快，城市规模的发展以及人口的持续增加，车辆已早已成为人们的必备出行工具，交通拥堵成为了亟待解决的痛点问题。因此采取有效的技术手段来减少交通拥堵显得尤为重要。而交通信号灯的控制作为调节和优化城市交通流的关键途径，基于最新兴起的人工智能技术进行交通信号灯控制是改善交通拥堵的有效方法。

目前我国城市采用的交通信号灯控制模型大多采用定时控制，通过人为的方式分析历史车流数据选择交通信号灯固定的配时和周期时长，并不能根据实时的交通流做出调控，缺乏动态分析和决策，不能很好的满足实际的应用场景。比如在当某一车道方向上车流量很大或者无车时，不能够自适应的改变红绿灯的时间来延长或者缩短这一方向的通过时间，造成了人们在等待红绿灯上所耗费时间的严重浪费。

而人工智能技术作为新一代信息技术，引起了很多国内外学者的关注和研究，强化学习和深度学习是目前在机器学习和人工智能领域很热的研究方向，并在城市交通灯控制领域中取得了很好的效果，使用深度强化学习只需要通过与城市路口环境的交互获取先验知识，在获取到环境状态后形成奖励激励路口交通灯做出更优的相位动作，以此来学习训练成一定的智能控制模型。

现有的基于强化学习和深度学习的信号灯智能控制模型往往需要构建多个智能体进行协同控制，然而智能体数量的增多会带来的模型空间的增大，进而导致智能控制模型最优解的解算慢，时延高、实时性差，因此，现有的多智能体信号灯智能控制模型最优解的解算慢、时延高、实时性差已成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了基于强化学习的多路口交通灯控制方法、系统及存储介质，用于解决现有的多智能体信号灯智能控制模型最优解的解算慢、时延高、实时性差的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于强化学习的多路口交通灯控制方法，包括以下步骤：

构建多智能体强化模型，多智能体强化学习模型以MADDPG(Multi-Agent DeepDeterministic Policy Gradient，深度确定性策略梯度算法的多智能体强化学习框架)为框架，以多路口交通灯系统控制的多个路口的车流数据作为输入状态，以输入状态对应的信号灯的时序调控动作为输出动作，以t时刻的历史输入状态、历史输入状态对应的历史输出动作、历史输出动作对应的奖赏值、t+1时刻的历史输入状态以及t时刻的历史输入状态对应的历史输出动作平均值作为训练样本；

获取多路口交通灯系统调控的多个路口的历史车流数据以及对应的历史时序调控动作，将历史车流数据以及对应的历史时序调控动作输入至多智能体强化模型中进行迭代训练，得到训练好的多智能体强化模型；

获取多路口交通灯系统调控的多个路口的实时车流数据，并输入至训练好的多智能体强化模型中，得到多路口的实时时序调控动作。