[发明专利]一种基于多智能体强化学习的交通组织方案优化方法

说明书

本发明公开了一种基于多智能体强化学习的交通组织方案优化方法，改进了MADDPG中的Actor网络，基于生灭过程改进了Critic网络中的经验库，使用早高峰最大车流设作为智能体回报指标，使用轨迹数据训练最大熵逆强化学习模型作为多智能体的回报机制，基于此设计出强化学习的回报函数；本发明方法实现了对当前城市交通组织方案进行优化，通过对当前交通数据进行分析，找出导致交通拥堵的原因，本方法能够很好的适应和快速找出最优方案，为交警专家提供了交通辅导意见，并为智慧城市打下基础。

技术领域

本发明属于交通流量优化技术领域，具体涉及一种基于多智能体强化学习的交通组织方案优化方法。

背景技术

城市的飞速发展，城市路网的越发复杂，交通拥堵问题愈发严重。城市区域车车流量的控制并非单一的，如果单独限制某个路口转向，其周围路段的流量难以控制更容易拥堵。使用多智能体强化学习控制道路车流量也会出现不适应的地方，如在复杂的城市路网中，多智能体团队合作通讯信息不足，集成学习效率低；很难设计出交通车流回报的标准；车流量全局联动变化导致多智能体在学习的过程中产生大量经验，然而传统的多智能体算法对经验的处理比较单一。

发明内容

针对现有技术中的上述不足，本发明提供的一种多智能体强化学习的交通组织方案优化方法解决了上述背景技术中的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于多智能体强化学习的交通组织方案优化方法，包括以下步骤：

S1、将待优化区域的当前交通方案{S,O₁,O₂,...,O_n,A₁,A₂,...,A_n,R₁,R₂,...,R_n,T}分为具有完全合作关系的n个智能体；

其中，S为联合状态，O₁,O₂,...,O_n为n个智能体对应的观察值，A₁,A₂,...,A_n为n个智能体对应的行为，R₁,R₂,...,R_n为n个智能体对应的回报，T为状态转移函数，下标1,2,...,n为智能体的编号；

S2、初始化n个智能体的参数；

其中，所述智能体的参数的包括状态、信息素、经验库和噪音值；

S3、基于当前的n个智能体的参数，通过Actor网络选择一个智能体的行为，使环境根据该智能体的状态、行为及确定的回报函数给出相应的回报，进而使该智能体通过状态转移矩阵到达下一状态，并保留对应的信息素；

S4、将智能体到达下一状态产生的经验缓存在经验库，并计算该智能体Actor网络的损失值；

S5、基于步骤S3～S4，将每个智能体到达下一状态产生的经验缓存在经验库，直到经验库中缓存的经验达到设定值，基于当前经验库缓存的经验计算每个智能体的生灭概率；

S6、根据每个智能体的生灭概率随机淘汰经验库中的经验；

S7、基于当前每个智能体的经验库中的经验及其对应的损失值，训练并更新智能体Actor网络的参数和权重；

S8、重复步骤S3-S7，直到达到设置的回合数或智能体连续设定次数内完成Actor网络的训练目标，得到训练好的交通组织方案优化模型；

S9、通过交通组织方案优化模型对当前交通方案进行预测，获得优化后交通组织方案。

进一步地，所述步骤S3中，通过Actor网络选择一个智能体的行为的公式为：