[发明专利]基于强化学习和交通车道竞争理论的交通控制方法及系统

权利要求书

1.一种基于强化学习和交通车道竞争理论的交通控制方法，其特征在于，包括：

初始化步骤：定义交通信号控制问题中各个变量，初始化交通信号控制算法模型；

智能体构造步骤：构造交通信号控制算法模型，优化决策降低通行时间计算方法；

网络结构构造步骤：构造交通信号控制算法模型的网络结构，确定交通信号控制算法模型在从初始状态到能够输出优化的交通信号控制决策的过程中，所需要迭代更新的参数；

交通车道阶段竞争的信号控制方法构造步骤：基于交通车道阶段竞争理论构造交通信号控制算法模型的计算逻辑，获得奖励函数的输出，提升交通信号控制算法模型的效果；

行为更新步骤：根据构建的交通信号控制算法模型中奖励函数，进行迭代计算，得到训练后的交通信号控制算法模型；

预测结果计算步骤：根据训练后的交通信号控制算法模型计算出预测的交通信号控制策略；

所述交通信号控制算法模型：通过算法来实现交通信号的控制，交通信号的控制策略是算法计算出来的；

所述奖励函数：交通信号算法通过结合强化学习实现的。

2.根据权利要求1所述的一种基于强化学习和交通车道竞争理论的交通控制方法，其特征在于，所述初始化步骤包括：

所述定义交通信号控制算法模型的必要参数包括：交通车道定义、交通运动定义、交通运动信号定义和交通阶段定义；

所述交通车道定义包括：每个交叉路口有四个车道，四个车道包括东、西、南和北，分别表示为E、S、W和N；

所述交通运动定义包括：以某一方向运动的车辆；

所述交通运动信号定义包括：车辆被允许行驶设为1，不允许行驶设为0；

所述交通阶段定义包括：以预设个单位字节向量P来表示交通阶段的组合，每个单位向量代表一个路口的交通信号灯情况。

3.根据权利要求1所述的一种基于强化学习和交通车道竞争理论的交通控制方法，其特征在于，所述智能体构造步骤包括：构造交通信号控制算法模型，优化决策降低通行时间计算方法；

智能体通过学习一个优化决策降低通行时间，将本优化决策降低通行时间描述为一个马尔可夫决策问题，优化决策降低通行时间计算公式如下：

状态S、行为A和奖励R，则S×A→R；

其中，G_t表示车辆队列长度，即优化决策降低通行时间；下标t表示时刻；γ表示系数；∞表示正无穷；

所述网络结构构造步骤包括：应用Ape-X深度Q-学习网络构造交通信号控制算法模型的计算框架。