[发明专利]一种分布式资源协同调度的多智能体强化学习方法

权利要求书

1.一种分布式资源协同调度的多智能体强化学习方法，其特征在于：包括，

建立分布式设备接入配网的仿真环境；

搭建不同分布式设备强化学习的智能体；

所述智能体与所述仿真环境交互训练；

通过训练好的所述智能体进行决策。

2.如权利要求1的一种分布式资源协同调度的多智能体强化学习方法，其特征在于：所述仿真环境，具体包括：

所述分布式设备接入的配电网需要满足电力系统潮流方程约束、电压安全稳定约束、储能设备运行约束、分布式光伏设备约束、电动汽车聚合商约束条件，所述分布式设备接入后，根据所述分布式设备给出的决策评价其决策的优劣并以奖励值的形式返回到所述智能体中。

3.如权利要求1或2的一种分布式资源协同调度的多智能体强化学习方法，其特征在于，所述电力系统潮流方程约束：

式中，P_mt,i,t和Q_mt,i,t为节点i发电机组在t时刻的有功、无功功率；P_load,i,t，Q_load,i,t为节点i在t时刻的有功、无功负荷；P_pv,i,t，P_ess,i,t，P_EVA,i,t分别为节点i在t时刻的分布式光伏、储能和电动汽车聚合商的有功功率；U_i,t为节点i的电压模值；U_j,t为节点j的电压模值；θ_ij,t为两节点间的相角差；G_ij，B_ij分别是节点i、j之间的电导和电纳；

所述储能设备运行约束：

式中，E_ess,i为节点i处储能的容量，S_ess,i,max，P_ess,i,max，Q_ess,i,max分别为节点i处视在功率、有功和无功功率上限，Soc_ess,i,max，Soc_ess,i,min是储能荷电状态的上、下限，Soc_ess,i,t是节点储能荷电状态的η_c，η_d为储能的充、放电效率，e_ess,i，t为第t时刻节点i处当前时刻储存的能量，Δt表示t时刻的增量；

所述分布式光伏设备约束，

P_pv,i,min＜P_pv,i,t＜P_pv,i,max

式中P_pv,i,max和P_pv,i,min分别表示在第t时刻节点i的分布式光伏设备能够输出的最大功率和最小功率，P_pv,i,t,表示在第t时刻节点i的分布式光伏设备的输出功率；

所述电动汽车聚合商约束，

式中P_up,t和P_down,t分别表示在第t时刻电动汽车聚合商参与功率下调及上调控制的可调节容量_，为电动汽车聚合商的最大输出功率，P_ev,t为t时刻电动汽车聚合商的输出功率。

4.如权利要求1的一种分布式资源协同调度的多智能体强化学习方法，其特征在于：所述智能体，包括：

不同分布式设备强化学习的所述智能体，从所述仿真环境中获取的状态、输出的动作空间以及奖励函数。

5.如权利要求4的一种分布式资源协同调度的多智能体强化学习方法，其特征在于：不同分布式设备强化学习的所述智能体，还包括：

不同的布式设备强化学习的所述智能体有各自的状态空间和动作空间，所述智能体能够根据各自的目标进行参数更新达到自适应学习的效果。