[发明专利]基于分布式深度循环Q网络的交通灯控制方法

权利要求书

1.一种基于分布式深度循环Q网络的交通灯控制方法，其特征在于，包括如下：

(1)读取城市交通路网信息，建立各个路口的车辆交通状态集合，并采用协作图的方法将读取的城市交通路网信息转换为邻接矩阵进行存储；

(2)根据实际路网中的车辆等待时间和车辆到达目的地数量，设置通用的性能评价指标；

(3)从(1)建立的各个路口车辆交通状态集合中获取各个路口各时刻的状态集、动作集和动作奖励值；

(4)根据(3)获取的信息和(1)中的邻接矩阵，建立分布式深度循环Q网络交通灯控制模型：

4a)将路口的历史状态值和历史动作值及当前观察的路口m作为输入，通过两个单层的多层神经网络MLP传递，得到中间值再通过长短时间神经网络LSTM得到在每一时刻的隐藏层状态

其中，表示元素相加；

将每一个历史时刻的数据都按照上述的公式计算，直到当前时刻t的前一时刻t-1，将t-1时刻的隐藏层状态设为输出

4b)从邻接矩阵获取路口m的四个邻接路口m_e、m_w、m_s、m_n的状态值和动作值计算每一个邻接路口的隐藏层状态：

第一个邻接路口的隐藏层状态为

第二个邻接路口的隐藏层状态为

第三个邻接路口的隐藏层状态为

第四个邻接路口的隐藏层状态为

将第四个邻接路口的隐藏层状态设为输出

4c)将路口m自身历史数据训练得到的输出和其四个邻接路口计算得到的输出通过多层神经网络MLP选择路口m在t时刻的最佳执行动作

(5)根据(4)构建的模型对城市路网交通灯进行控制：

5a)初始化路网中路口的邻接矩阵及分布式深度循环Q网络中的学习率α＝0.25、折扣因子γ＝0.9、ε-贪心策略中的ε＝0.01、网络参数θ＝0、迭代上限T＝1000、迭代次数t＝1、隐藏层状态h＝0；

5b)根据ε-贪心策略选择路口的执行动作；

5c)对每一个路口执行所选择的动作，并计算获取分布式深度循环Q网络的即时奖励；

5d)计算分布式深度循环Q网络的损失函数误差，更新网络参数θ；

5e)设t＝t+1，将路口状态s_t转变为s_t+1，

5f)判断迭代是否停止，若t小于迭代上限T，转5b)，否则，停止。

2.根据权利要求1所述的方法，其特征在于：(1)中建立各个路口的车辆交通状态集合，表示为其中：

i：表示路网中任意一个路口；

L_i：表示路网中某个路口的全部入口车道；

TL_i：表示任意路口的入口车道所对应的交通灯；

由三元组[tl_i,pos,des]组成，其中pos为车辆当前时刻所处的位置、des为目的地、tl_i为所处车道l_i上的交通灯；

a_i：表示交通灯tl_i的动作，交通灯的动作对应于交通灯的状态。

3.根据权利要求1所述方法，其特征在于：(2)中根据实际路网中的车辆等待时间和车辆到达目的地数量，设置通用的性能评价指标，包括路口平均等待时间AJ、车辆平均行驶等待时间AT和到达目的地的总车辆数V。

4.根据权利要求3所述方法，其特征在于：所述路口平均等待时间AJ，用于反应单个车辆在路口的平均等待时间，定义如下：

其中，PT为通过路口的所有车辆总的等待时间，n为通过该路口的车辆总数；AJ越小，说明路口拥堵时间越少，反之，路口拥堵时间越长。

5.根据权利要求3所述方法，其特征在于：所述车辆平均行驶等待时间AT，用于反应单个车辆行车全程所需的平均等待时间，定义如下：

其中，DT为所有到达目的车辆总的等待时间，N为车辆总数；AT越小，说明路口拥堵时间越少，反之，路口拥堵时间越长。