[发明专利]一种区域多路口可变车道协同控制决策方法

说明书

本发明涉及一种区域多路口可变车道协同控制决策方法，包括以下步骤：S1：主控台实时获取路网状态数据、每一路口的局部状态和上一时间步的决策动作；S2：根据绩效奖励分级评定机制构建全局奖励分解模块；S3：根据区域内可变车道的数量，确定深度学习网络训练过程的状态空间、动作空间和全局奖励，构建全局混合网络；S4：利用深度神经网络模型构建结构相同的训练网络和目标网络，并将两个神经网络的参数同步；S5：根据上述收敛后的神经网络模型计算备选控制动作的效用函数值，选取最优动作进行可变车道转向控制。本发明在决策时能够去中心化地执行自身的可变车道转向决策，降低了计算复杂度，保证区域多路口可变车道协同控制决策的实时性和有效性。

技术领域

本发明属于深度学习技术领域，具体涉及一种区域多路口可变车道协同控制决策方法。

背景技术

随着我国机动车保有量的不断上升，道路交通供需矛盾日益加剧。为了缓解路口内各转向交通流分布不均衡造成道路资源浪费问题和道路拥堵情况，国内外开始广泛使用可变车道技术。

在专利公开号为CN109920244A的中国专利公开了一种可变车道实时控制系统及方法，通过设备监测子系统、车道状态子系统、方案研判子系统和方案决策子系统进行路网状态获取和可变车道转向控制决策。在该方法中，可变车道可以依据实时路网状态进行自适应变化，缓解交通拥堵，提升道路资源的利用率。

上述专利肃然能够缓解交通拥堵，提升道路资源的利用率，但随着可变车道数量的增多，仅通过规则决策方式难以覆盖巨大的路网状态空间，对道路资源的均衡优化问题所提升的性能是十分有限的。

在专利公开号为CN111915894A的中国专利公开了一种基于深度强化学习的可变车道及交通协同控制方法，通过采集交叉路口状态观测值，包括车辆数据、信号灯数据和可变车道数据进行预处理后输入神经网路进行训练，得到收敛模型用于计算后续可变车道的决策控制方案。该方法仅仅处理单个路口的可变车道转向决策问题，单点最优不一定能够保障全局最优。

若是将上述方法通过简单耦合实施在区域路网中，每个路口的决策网络可能会由于其他决策网络导致的外部环境动态性而无法快速收敛甚至无法收敛。

发明内容

为了解决上述问题，本发明提供了一种区域多路口可变车道协同控制决策方法，在强化学习算法的基础上采取集中式训练、分布式执行的策略，在决策时每一智能体能够去中心化地执行自身的可变车道转向决策，降低了计算复杂度，保证区域多路口可变车道协同控制决策的实时性和有效性。

本发明的技术方案如下所示：

一种区域多路口可变车道协同控制决策方法，包括以下步骤：

S1：由主控台实时获取路网状态数据，并获得每一路口的局部状态和上一时间步的决策动作；

S2：根据绩效奖励分级评定机制构建全局奖励分解模块，将全局奖励分解为基本奖励和绩效奖励，并分别计算每个可变车道获得的奖励总和；

S3：根据区域内可变车道的数量，确定深度学习网络训练过程的状态空间、动作空间和全局奖励，构建全局混合网络；

S4：根据单个路口智能体网络和全局混合网络模型构建两个结构相同的神经网络，分别作为训练网络和目标网络，当训练网络和目标网络的相似度达到更新阈值时将两个神经网络的参数同步，经过不断迭代训练直至网络收敛；

S5：根据上述收敛后的神经网络模型计算备选控制动作的效用函数值，选取最优动作进行可变车道转向控制。

优选的，所述路网状态数据包括车道组左转方向车道组的平均排队长度、左转方向车道组的平均等待时间和左转方向车道组的平均延误时间，车道组直行方向车道组的平均排队长度、直行方向车道组的平均等待时间、直行方向车道组的平均延误时间，以及车辆位置映射矩阵。