[发明专利]基于多强化学习智能体的电网运行方式调节方法及装置

权利要求书

1.一种基于多强化学习智能体的电网运行方式调节方法，其特征在于，包括以下步骤：

1)基于原始电网运行状态数据求解电网模型，并提取发电机控制的状态空间；

2)以发电机控制的状态空间为输入，利用预先训练好的发电机强化学习智能体，获取发电机最优控制方案；

3)基于发电机最优控制方案调节电网运行方式，并对电网运行状态进行安全评估；

4)如果存在传输线路过载，则提取负荷控制的状态空间；

5)以负荷控制的状态空间为输入，利用预先训练好的负荷强化学习智能体，获取负荷转移最优控制方案；

6)基于负荷最优控制方案调节电网运行方式，并对电网运行状态再次进行安全评估。

2.根据权利要求1所述的基于多强化学习智能体的电网运行方式调节方法，其特征在于，在步骤1)中，所述电网模型为：

其中，和代表母线i上发电机n的有功功率输出和无功功率输出,P_ij(y)和Q_ij(y)代表从母线i到母线j的有功功率和无功功率，V_i代表母线i的电压幅值，B代表母线集合，上标g表示发电机，上标d表示代表电网负荷，P_i^g和是母线i上的发电机有功功率注入和无功功率注入，P_i^d和是母线i上的负荷有功功率和无功功率，和是母线i上负荷m的有功功率和无功功率，G_i是母线i上的发电机集合，D_i是母线i上的负荷集合，B_i是与母线i构成支路的母线集合，g_i是母线i的自电导，b_i是母线i的自电纳，y是母线电压向量；

所述电网模型需满足约束条件：

V_i^min≤V_i≤V_i^max，i∈B

其中，和表示发电机有功上限和下限，和表示发电机无功上限和下限，G表示发电机集合，V_i^min和V_i^max表示母线电压幅值上限和下限，是传输线路的视在功率上限，Ω_L代表传输线路集合，Ω_T代表变压器集合；g_ij是母线i和母线j的互电导，V_j是母线j的电压幅值，θ_i是母线i电压相角，θ_j是母线j电压相角互电导,b_ij是母线i和母线j的互电纳，b_ij0是联络线电容器电纳。

3.根据权利要求1所述的基于多强化学习智能体的电网运行方式调节方法，其特征在于：在步骤2)中，以发电机控制的状态空间为输入，采用最大熵智能体强化学习算法，得到发电机智能体控制动作方法，将所述发电机智能体控制动作方法作为发电机有功控制方案。

4.根据权利要求3所述的基于多强化学习智能体的电网运行方式调节方法，其特征在于，所述发电机控制的状态空间S_g定义为：

S_g＝(P，V，G)，构成一个向量，

其中，P表示被控区域内的线路有功功率，V表示同一区域内的母线电压幅值，G表示发电机有功功率输出的矢量。

5.根据权利要求1所述的基于多强化学习智能体的电网运行方式调节方法，其特征在于：在步骤3)中，具体包括以下步骤：

31)计算发电机智能体奖励值；

32)基于当前发电机控制的状态空间、智能体奖励值、智能体控制动作方法和下一发电机控制的状态空间，利用强化学习智能体的算法更新发电机智能体网络参数；

33)迭代循环计算，直至满足电网运行状态安全评估要求。