[发明专利]一种基于agent的城市区域边界控制方法及系统

权利要求书

1.一种基于agent的城市区域边界控制方法,具体步骤如下：

S1、将需要控制的城市区域进行区域agent划分成多个区域，每个区域对应相应的agent；其中，区域划分为关键区域，边界区域和外围区域，其中关键区域为可控制区域的核心范围，包括区域的主要交通需求点和拥堵点；边界区域为划分关键区域后，围绕关键区域一个路口范围内的区域；外围区域为边界区域外，围绕边界区域一个路口范围内的区域；

S2、利用区域交通异常检测数据进行agent设计；

其中，agent设计包括：

1)状态State：

agent的状态S_j，t由区域内的路口异常数N_k，j，t表示；

2)动作Action：

动作向量A_t为实施边界控制的路口的各相位绿信比；

3)奖励Reward：agent会选择多个周期内，reward的总和∑R_t最高的动作序列{Action}作为结果输出；S3、识别区域需要开启边界控制的时段；

其中边界触发条件可表述为：

trigger＝(G_1，T≥L₁)||(G_2，T≤L₂)||(G_3，T≤L₃)

其中L_i(i＝{1，2，3})是G_i区域在T时段的交通状态等级，L_i∈{S₁，S₂，…，S_n}；

T为t时段前较长的一个时段，满足边界控制触发条件的时段即为控制时段；

S4、在边界agent中筛选实施路口；

其中路口筛选的条件是：当路口进入关键区域方向的路段在进行边界控制前未发生交通拥堵；

S5、利用agent强化学习方法制定边界控制信号配时方案。

2.根据权利要求1所述的一种基于agent的城市区域边界控制方法，其特征在于：步骤S2中

S_j，t＝[N_1，j，t，…，N_i，j，t，…，N_k，j，t]^T，

其中，N_i，j，t表示t时间段内，属于j区域的交叉口i的交通异常数；k为区域内交叉口的总个数，用j表征相关的三个区域，其中

其中，g_i，m，t表示t时间段内，交叉口i的m相位的绿灯时间；

p_i表示i交叉口的相位个数；

q表示实施边界控制的交叉口的总个数；

绿灯时间g_i，m，t受到最小绿灯时间和最大绿灯时间的限制，应满足：

奖励值R_t表示如下

其中，b_j，t为各区域状态变化的收益，与t时段和前一时段(t-1)的等级的变化量有关；

ω_j是各区域收益的权重，

ω₁＞ω₃＞ω₂，ω_j＞0；

σ_j，t为各路口交通异常数的离散系数，用来表征各路口交通异常的均衡。