[发明专利]基于深度强化学习的高速公路道路协同控制系统及方法

权利要求书

1.一种基于深度强化学习的高速公路道路协同控制系统，其特征在于：包括交通信息交互模块、交通控制模块、深度学习神经网络训练模块以及交通控制单元；

所述交通信息交互模块，用于采集道路的观测信息o_t，并转化为可用于深度强化学习的交通状态信息s_t发送给交通控制模块，以及接收交通控制模块和交通控制单元的指令并发送给管辖范围内的车辆；

所述交通控制模块，用于根据接收到的交通状态信息s_t选取最优行为策略a_t，并将a_t发送给交通控制单元，将s_t和a_t发送给训练模块，其中，a_t包括系统中所有交通控制单元的动作集合；

所述深度学习神经网络训练模块，用于将来自交通控制模块的交通状态信息s_t和行为策略a_t存入回放记忆库中，根据奖励函数对神经网络进行训练，使奖励函数的长期累积和最大化，以此优化决策控制网络；

所述交通控制单元包括布设于高速公路主线的可变限速控制单元以及布设于入口匝道处的匝道信号控制单元，各控制单元从来自交通控制模块的最优行为策略a_t中提取相应的动作指令，并将指令通过交通信息交互模块传递给受控路段的车辆；其中，匝道信号控制单元用于将入口匝道的放行流量指令转换成红绿信号周期，可变限速控制单元用于将限速指令转换成具体的可变限速值；

深度学习神经网络训练模块的训练过程包括如下步骤：

(1)在t+1训练时刻，从交通信息交互模块获取前一时刻的交通状态信息s_t，从控制模块获取协同策略a_t，从奖励函数模块获取即时奖励r_t，连同当前时刻的交通状态信息s_t+1，组成交通状态数据元组(s_t,a_t,r_t,s_t+1)，存入回放记忆库中；

(2)深度学习训练模块从回放记忆库中随机调取N条用于训练的数据元组(s_t,a_t,r_t,s_t+1)；

(3)对于每条数据元组，深度学习训练网络根据Bellman方程对其长期收益进行评分，取两个评分网络的较小分值，公式为：

式中，y_i是第i条数据的得分，r_i是第i条数据的奖励，s_t+1是历史交通状态信息，是控制模块在s_t+1下的策略结果，θ^μ′和分别是长期决策网络和长期评分网络的权重向量；

(4)基于损失函数对评分网络的权重进行更新，使用Adam优化器对更新过程进行优化；其中，损失函数的计算方法为：

上式中，N为训练数据的条数，y_i是第i条数据的得分，Q(s_t,a_t|θ^Q)为评分网络基于最新的数据(s_t,a_t)的评分，θ^Q为评分网络的权重；

(5)每隔K个时间步长更新长期评分网络的权重，再根据评分网络的权重，调整决策控制网络的权重，改善控制策略。

2.根据权利要求1所述的基于深度强化学习的高速公路道路协同控制系统，其特征在于：交通信息交互模块包括若干路侧单元，高速公路主线及入口匝道的每条等距离子路段均配置有采集该子路段交通状态信息的路侧单元，采集的交通状态信息包括相应子路段的车辆密度、平均速度、排队长度。