[发明专利]一种基于深度强化学习的实时交通信号控制方法及装置

说明书

本发明提供一种基于深度强化学习的实时交通信号控制方法及装置，包括：从目标路口的实时信息图像中获取目标路口的实时车辆信息；将目标路口的实时车辆信息输入预设单路口交通信号控制模型，得到目标路口的交通信号控制方案；其中，所述预设单路口交通信号控制模型是根据携带实时车辆样本信息进行训练得到的。通过从道路网络收集大量实时车辆数据，从而结合强化学习的思想，将样本实时交通状况作为输入，不断接收来自环境的交通状况和奖励来更新其模型，从而得到能够有效根据实时车辆信息，做出最优交通信号控制的模型，最后将每个路口的实时车辆信息输入该模型，从而得到交通信号控制方案。

技术领域

本发明涉及交通信号处理技术领域，尤其涉及一种基于深度强化学习的实时交通信号控制方法及装置。

背景技术

国外许多国家和地区早已普及使用了交通信号控制系统，被认为是解决冲突的车辆和行人交通冲突的最有效方法之一，尤其应用在十字交叉路口。现有技术中的信号控制系统的信号设置，并不能有效的适应动态交通变化，要么不考虑实时流量，要么只考虑非常有限的流量。但一些演唱会、大型比赛或更常见的交通事件繁忙时段，交通信号灯控制系统几乎失去了协调功能，不能很好的进行优化控制。此时本发明经常目睹交通警察通过挥舞信号直接管理交叉路口。操作员可以查看相交道路的实时交通状况，并利用他的长期经验和对十字路口的观察了解，人工确定每个方向的允许通过时间的持续时间，该操作显然通常非常直接有效。

依靠人工来指挥交通，效率十分低下，且会增加人力成本，因此，如何更高效的实现自动化的实施交通信号控制已经成为业界亟待解决的问题。

发明内容

本发明提供一种基于深度强化学习的实时交通信号控制方法及装置，用以解决现有技术中对于交通信号控制效率不高的情况，实现更高效的交通信号控制。

本发明提供一种基于深度强化学习的实时交通信号控制方法，包括：

从目标路口的实时信息图像中获取目标路口的实时车辆信息；

将目标路口的实时车辆信息输入预设单路口交通信号控制模型，得到目标路口的交通信号控制方案；

其中，所述预设单路口交通信号控制模型是根据携带实时车辆样本信息进行训练得到的。

根据本发明提供的一种基于深度强化学习的实时交通信号控制方法，所述方法还包括：

获取目标路口的周边多个路口实时图像，并从周边多个路口实时图像中获取多个路口的实时车辆信息；

将多个路口的实时车辆信息输入预设多路口交通信号控制模型，得到多路口的交通信号整体控制方案；

其中，所述预设多路口交通信号控制模型是根据多个路口的车辆样本信息进行强化学习训练得到的。

根据本发明提供的一种基于深度强化学习的实时交通信号控制方法，在所述将多个路口的实时车辆信息输入预设多路口交通信号控制模型的步骤之前，所述方法还包括:

根据多个路口的实时车辆信息得到多个路口的局部奖励函数和多个路口的整体奖励函数；

根据局部奖励函数和整体奖励函数得到多个路口的混合奖励函数。

根据本发明提供的一种基于深度强化学习的实时交通信号控制方法，所述从目标路口的实时信息图像中获取目标路口的实时车辆信息的步骤，具体包括：

将所述目标路口的实时信息图像进行网格化处理，对每个网格进行速度值向量和位置值向量进行分析，获取目标路口的实时车辆信息；

其中，所述实时车辆信息包括：实时车辆速度信息和实时车辆位置信息。

根据本发明提供的一种基于深度强化学习的实时交通信号控制方法，在所述将目标路口的实时车辆信息输入预设单路口交通信号控制模型的步骤之前，所述方法还包括：