[发明专利]基于强化学习和交通车道竞争理论的交通控制方法及系统

说明书

本发明提供了一种基于强化学习和交通车道竞争理论的交通控制方法及系统，包括：定义交通信号控制问题中各个变量，初始化交通信号控制算法模型；构造交通信号控制算法模型；构造交通信号控制算法模型的网络结构，确定所需要迭代更新的参数；基于交通车道阶段竞争理论构造交通信号控制算法模型的计算逻辑，获得奖励函数的输出；根据构建的交通信号控制算法模型中奖励函数，进行迭代计算，得到训练后的交通信号控制算法模型；根据训练后的交通信号控制算法模型计算出预测的交通信号控制策略；本发明适用于大规模复杂的交通道路情况，提高了不同交通路口信号灯的协调控制效果，改善了整体道路的通行效率。

技术领域

本发明涉及计算机软件和交通领域，具体地，涉及一种基于强化学习和交通车道竞争理论的交通控制方法及系统，更为具体的，涉及一种基于强化学习和交通车道阶段竞争理论的交通控制方法及系统。

背景技术

交通拥堵已经成为了当今城市中对人们日常生活影响越来越大的一个问题，其由很多因素产生，例如过载的交通流量和糟糕的道路设计。这里面有一些因素是需要政策和长期计划来改善，但是也有一些可以通过大数据和先进的学习算法来改善。目前，应用最广泛的交通信号控制系统是SCATS和SCOOT，其还是基于手动设计的方案，但这些手动设计的方案并不能适用于当今复杂多变的交通情况。

近期，越来越多的研究者开始使用强化学习的方法来解决交通信号控制这一问题。不同于以前基于手动设计方案的控制方法，强化学习的方法可以直接通过学习信号决策与环境的交互来优化控制方案。在强化学习和交通控制这一领域中，典型的做法是将交叉路口处理成智能体，智能体通过奖励机制来优化其产生的行为决策来达到控制交通信号的目的。但是目前的这些方法大多只是在简单的交通状况中，例如2个或4个交叉路口。

当交叉路口变多的时候，整个算法的求解会变得非常耗时。已经证明8个交叉路口下的求解会比2个交叉路口下的求解复杂很多。假设一个车道的额定负荷是n，在有两个交通信号阶段的控制问题下，算法求解规模为2×n⁴，而在8个交通信号阶段控制问题下，其为8×n⁸。所以问题的关键是如何减少算法的求解规模，提高求解效率。

但目前为止，并没有相关研究在尝试解决这一问题。在本发明中，基于交通车道阶段竞争理论来将原本单个分别考虑交通运动状态的问题，变成了考虑不同交通运动状态间的交互问题，例如可以将64×n⁸规模的问题降低成16×n⁴的求解规模，提高了算法的求解效率。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于强化学习和交通车道竞争理论的交通控制方法及系统。

根据本发明提供的一种基于强化学习和交通车道竞争理论的交通控制方法，包括：

初始化步骤：定义交通信号控制问题中各个变量，初始化交通信号控制算法模型；

智能体构造步骤：构造交通信号控制算法模型，优化决策降低通行时间计算方法；

网络结构构造步骤：构造交通信号控制算法模型的网络结构，确定交通信号控制算法模型在从初始状态到能够输出优化的交通信号控制决策的过程中，所需要迭代更新的参数；

交通车道阶段竞争的信号控制方法构造步骤：基于交通车道阶段竞争理论构造交通信号控制算法模型的计算逻辑，获得奖励函数的输出，提升交通信号控制算法模型的效果；

行为更新步骤：根据构建的交通信号控制算法模型中奖励函数，进行迭代计算，得到训练后的交通信号控制算法模型；

预测结果计算步骤：根据训练后的交通信号控制算法模型计算出预测的交通信号控制策略；

所述交通信号控制算法模型：通过算法来实现交通信号的控制，交通信号的控制策略是算法计算出来的；

所述奖励函数：交通信号算法通过结合强化学习实现的。