[发明专利]基于道路实时容量的交通灯智能控制方法

权利要求书

1.一种基于道路实时容量的交通灯智能控制方法，其特征在于，包括以下步骤：

步骤1：根据实时车流量信息计算相位初始绿灯时长，并利用算法优化各相位绿灯时长；

步骤2：判断绿灯时长是否合理，进行微调避免某个相位绿灯时长过长引起交通拥堵；

步骤3：根据实时车流量信息计算道路流量处理能力，并结合车辆排队长度、车辆平均等待时间计算相位优先级；

步骤4：将相位绿灯时长以及相位顺序作用于交通灯。

2.根据权利要求1所述的一种基于道路实时容量的交通灯智能控制方法，其特征在于，所述步骤1，具体做法是，定义：车辆以λ为参数的泊松流到达路口；车辆能知道自己的车速v和自己当前所处位置；为表述方便，设定初始绿灯时长采取行为后绿灯时长为a秒；各车道第一辆没排队的车到达形成车辆排的时间为t，若ta表示没有停车等待的车辆部分没有收益也没有惩罚，

根据车辆排队长度预先计算各相位初始绿灯时长，

OriginalGreenTime_i,s(k)＝LPQ_I,s(k)×η+δ (1)

其中LPQ_i,s(k)表示车辆排队长度，η是车辆通过路口所需的时间，δ是对车辆启动延迟的补偿量；

状态S：车道中车辆的位置和速度组成，各道路靠近停止线的225m道路车辆分布以及对应的车辆速度作为状态，每7.5m划分为一个小格；根据实时车辆排队信息，在对应的道路车辆位置矩阵中标记有车的格为1，无车的格为0；若有车辆横跨两个格则将车头所在的格视为1，另一个视为0；

行为A：交通灯的控制行为共有三种，如下所示：

奖励r：奖励由两部分组成：每个相位绿灯时间内车辆通行量作为收益，而车辆平均等待时间作为惩罚，两者共同决定奖励，具体如下所示：

a、交通灯即将从红灯转为绿灯

车道第一辆没有排队的车辆根据自身信息计算自己到达形成车辆排的时间t，若ta说明该车辆可以在接下来的绿灯时间a秒内通过路口，则在a配时策略下该车道车辆通行量为：

其中NUM_vehicle表示已经在排队的车辆数目；λ表示车辆是以λ为参数的泊松流到达路口；a是初始绿灯时长采取行为后的绿灯时间；

b、交通灯即将从绿灯转为红灯

车道第一辆没有排队的车辆根据自身信息计算自己到达形成车辆排的时间t；若ta则该车等待时间为a-t，后面的车以λ为参数的泊松流到达路口；设p时刻(0≤p≤a-t)有车辆到达并开始等待，则智能体会因车辆等待而受到惩罚，并以等待时长结合一个常系数k定义惩罚度，

则智能体因该道路的车辆等待时间所受惩罚为：

综上可得，设i路口的智能体在状态s下采取行为获得的奖励如下列公式所示：

r_i＝α*reward_i+β*[reward_iA+reward_iB+reward_iC+reward_iD] (6)

其中，reward_i表示路口i的奖励，reward_iA、reward_iB、reward_iC和reward_iD分别表示与路口i相邻四个路口的奖励，式中α、β是常系数满足公式(7)，reward_i具体如公式(8)所示，reward_iA、reward_iB、reward_iC和reward_iD与之相类似：

α+β＝1 (7)

其中reward_NS(s_i，a_i)表示南北方向转绿灯的奖励，reward_WE(s_i，a_i)表示东西方向转绿灯的奖励，具体组成如公式(9)和公式(10)所示：

进一步将公式归一化使得满足|r_i|≤1，所以奖励r为：

总之，系统输入当前状态，输出该状态下各行为Q值，

Q_t+1(s_t，a_t)＝Q_t(s_t，a_t)+α_t[r_t+γmax_aQ_t+1(s_t+1，a₊₁)-Q_t(s_t，a_t)] (12)

算法根据公式(12)计算各行为的Q值，系统根据行为选择策略选择Q值最大的行为或者随机选择行为，根据采取的行为对该相位对应的绿灯时长进行优化。