[发明专利]一种电力系统经济调度决策的方法、系统、装置及介质

权利要求书

1.一种电力系统经济调度决策的方法，其特征在于，包括以下步骤：

获取电力系统的第一运行状态数据，根据所述第一运行状态数据构建第一运行状态图；

构建融入图卷积神经网络的图强化学习模型；

根据奖励机制，采用所述第一运行状态图对所述图强化学习模型进行训练；

获取电力系统的第二运行状态数据，根据所述第二运行状态数据构建第二运行状态图，将所述第二运行状态图输入训练后所述图强化学习模型，输出电力系统的经济调度决策；其中，所述运行状态图中的节点为电力系统的节点，所述运行状态图中的边为电力系统的拓扑连接关系。

2.根据权利要求1所述的一种电力系统经济调度决策的方法，其特征在于，所述节点的节点特征包括该节点的有功负荷数据、无功负荷数据、所接发电机出力数据、风电数据或光伏数据。

3.根据权利要求1所述的一种电力系统经济调度决策的方法，其特征在于，所述图强化学习模型包括行动器模块和评判器模块，所述构建融入图卷积神经网络的图强化学习模型，包括：

构建图卷积神经网络，所述图卷积神经网络用于对节点的消息进行传递、转换和聚合，以实现节点特征的提取；

构建融合所述图卷积神经网络的行动器模块，所述行动器模块以运行状态图作为输入，输入的运行状态图经过所述图卷积神经网络进行特征提取后，再经过所述行动器模块的全连接层，获得动作策略；

构建融合所述图卷积神经网络的评判器模块，将经过所述图卷积神经网络进行特征提取的运行状态图和所述动作策略，输入所述评判器模块的全连接层，获得状态动作对的Q值。

4.根据权利要求3所述的一种电力系统经济调度决策的方法，其特征在于，所述节点特征的提取采用以下公式表示：

式中，为第i个节点经过k次卷积后的节点特征；e_i,j为边的权重；Γ表示可导的，γ和φ表示可导的函数。

5.根据权利要求3所述的一种电力系统经济调度决策的方法，其特征在于，所述动作策略和Q值更新的方式如下：

γE{V_t+1(s_t+1)|s_t,a_t+αH[π(·|s_t)]}

其中，π*为最优动作策略；r(s_t,a_t)是状态动作对的即时奖励，s_t是时刻t的系统观测状态，a_t是时刻t的动作策略；为期望算子；γ是折扣因子；V_t+1(s_t+1)表示状态S_t+1的值函数；H[·]表示动作集合的熵；α为温度系数的权重；Q(s_t,a_t)表示状态动作对(s_t,a_t)的Q值。

6.根据权利要求3所述的一种电力系统经济调度决策的方法，其特征在于，所述行动器模块和所述评判器模块的更新方式如下：

式中，J_Q(ω)表示行动器网络更新所需的的残差；π表示动作策略；ω为Q网络参数，为目标Q网络参数，θ为政策网络参数，λ为软更新系数。

7.根据权利要求1所述的一种电力系统经济调度决策的方法，其特征在于，所述一种电力系统经济调度决策的方法，还包括以下步骤：

在应用所述图强化学习模型时，根据上一个时间段的运行状态图、模型输出的经济调度决策以及电力系统真实运行调度数据获得即时奖励，作为所述图强化学习模型的输入，对所述图强化学习模型进行训练。