[发明专利]一种基于多智能体强化学习的交通组织方案优化方法

权利要求书

1.一种基于多智能体强化学习的交通组织方案优化方法，其特征在于，包括以下步骤：

S1、将待优化区域的当前交通方案{S,O₁,O₂,...,O_n,A₁,A₂,...,A_n,R₁,R₂,...,R_n,T}分为具有完全合作关系的n个智能体；

其中，S为联合状态，O₁,O₂,...,O_n为n个智能体对应的观察值，A₁,A₂,...,A_n为n个智能体对应的行为，R₁,R₂,...,R_n为n个智能体对应的回报，T为状态转移函数，下标1,2,...,n为智能体的编号；

S2、初始化n个智能体的参数；

其中，所述智能体的参数的包括状态、信息素、经验库和噪音值；

S3、基于当前的n个智能体的参数，通过Actor网络选择一个智能体的行为，使环境根据该智能体的状态、行为及确定的回报函数给出相应的回报，进而使该智能体通过状态转移矩阵到达下一状态，并保留对应的信息素；

S4、将智能体到达下一状态产生的经验缓存在经验库，并计算该智能体Actor网络的损失值；

S5、基于步骤S3～S4，将每个智能体到达下一状态产生的经验缓存在经验库，直到经验库中缓存的经验达到设定值，基于当前经验库缓存的经验计算每个智能体的生灭概率；

S6、根据每个智能体的生灭概率随机淘汰经验库中的经验；

S7、基于当前每个智能体的经验库中的经验及其对应的损失值，训练并更新智能体Actor网络的参数和权重；

S8、重复步骤S3-S7，直到达到设置的回合数或智能体连续设定次数内完成Actor网络的训练目标，得到训练好的交通组织方案优化模型；

S9、通过交通组织方案优化模型对当前交通方案进行预测，获得优化后交通组织方案；

所述步骤S3中，所述回报函数的方法具体为：

A1、获取待优化区域内当前交通方案中的行车轨迹数据和历史最大车流量，并对行车轨迹数据进行填补缺失处理；

A2、利用处理后的行车轨迹数据训练最大熵强化学习分流模型，作为预测下一时刻车流量变化的分流模型；

A3、当智能体采取相应行为时，经过分流模型预测分流后的车流量；

A4、将历史最大车流量和分流后的车流量之间的关系作为回报函数；

所述步骤A1中，对行车轨迹数据进行填补缺失处理的方法具体为：

B1、获取待优化区域内同一车牌的早高峰所有行车数据；

B2、在城市路网中匹配车辆对应的出行轨迹；

B3、基于匹配出的出行轨迹，定位到轨迹缺失的路口，并在城市路网中以最短路径连接轨迹，完成行车轨迹数据的填补缺失处理。

2.根据权利要求1所述的基于多智能体强化学习的交通组织方案优化方法，其特征在于，所述步骤S3中，通过Actor网络选择一个智能体的行为的公式为：

a_i＝μ_θi(O_i,x_i)+N_noise

式中，a_i为Actor网络选择的智能体i的行为，O_i为Actor网络选择的智能体i的观察值，μ_θi为Actor网络的确定性行为策略，x_i为智能体i信息素，N_noise为噪声值；

所述智能体的行为包括允许左转、禁止左转、允许右转、禁止右转、允许调头和禁止调头。

3.根据权利要求1所述的基于多智能体强化学习的交通组织方案优化方法，其特征在于，所述步骤S3中的智能体的状态表征其对应路段的通行情况，可以转向下一路口表示为0，否则表示为1；

所述步骤S3中的状态转移矩阵表征每个智能体下一时刻的状态取决于上一时刻的状态和行为。