[发明专利]一种具有适应性的DQN模型优化方法及应用

权利要求书

1.一种具有适应性的DQN模型优化方法，其特征在于，包括以下步骤：

S1、设计道路交叉口，定义DQN模型的状态、动作和奖励函数，并设置DQN模型的超参数；

S2、基于所述道路交叉口，设定多个交通场景；

S3、基于所述多个交通场景对DQN模型分别进行训练，得到多个训练后的DQN模型；

S4、基于所述道路交叉口，设定与所述多个交通场景不同的新交通场景；

S5、将所述多个交通场景中的至少一个交通场景以及所述新交通场景作为测试交通场景，基于测试交通场景对所述多个训练后的DQN模型分别进行适应性检验，筛选得到优化后的DQN模型。

2.如权利要求1所述的具有适应性的DQN模型优化方法，其特征在于，所述道路交叉口设计为包括四个方向的十字形道路交叉口，四个方向包括东向、西向、北向和南向，各个方向均为双向四车道，构成八个流向，双向四车道包括一条左转车道、两条直行车道和一条右转车道。

3.如权利要求1所述的具有适应性的DQN模型优化方法，其特征在于，所述状态定义为道路交叉口运行状态S，所述道路交叉口运行状态S通过车辆排队长度q_i进行表征，其中，q_i为道路交叉口各流向对应车道的车辆排队长度，八维矩阵s_t＝[q₁,q₂,q₃,q₄,q₅,q₆,q₇,q₈]为t时刻时道路交叉口的道路交叉口运行状态；

所述动作定义为四相位集合A，A＝{NSL，NSS，WEL，WES}，其中，NSL表示南北方向左转通行，NSS表示南北方向直行通行，WEL表示东西方向左转通行，WES表示东西方向直行通行；

所述奖励函数定义为车均延误时间的相反数，奖励函数的表达式为：其中，r_t为t时刻时道路交叉口的奖励函数；α为权重系数，α＝1；为t时刻时道路交叉口的车均延误时间；Δt为仿真时间步长。

4.如权利要求1所述的具有适应性的DQN模型优化方法，其特征在于，DQN模型的超参数包括仿真时长、仿真次数、迭代数、经验池容量、批处理大小、学习率β、折扣系数γ、单位绿灯时长g_t和单位黄灯时长y_t；

其中，DQN模型的超参数初始化值为：仿真时长6000、仿真次数200、迭代数4、经验池容量50000、批处理大小400、学习率β＝0.0003、折扣系数γ＝0.9、单位绿灯时长g_t＝6和单位黄灯时长y_t＝3。