[发明专利]基于深度确定策略梯度强化学习的电力系统无功优化方法

权利要求书

1.一种基于深度确定策略梯度强化学习的电力系统无功优化方法，其特征在于，方法步骤如下：

步骤一：利用电力系统无功优化计算中用到的物理量来刻画深度强化学习中的各变量，从而达到深度强化学习算法应用于电力系统无功优化的目的：

其中，P_loss为有功网络损耗；k变压器变比；n_l为网络总支路数；G_k(i,j)为支路i–j的电导；U_i、U_j分别为节点i、j的电压；ω_i、ω_j分别为节点i、j的相角；f为电力系统无功优化目的；

步骤二：电力系统的广域测量系统实时获得电力系统各节点的功率、相位、功角、电压幅值的信息；电力系统的监视控制/数据采集系统获得电力系统的实时信息，包括地理信息、系统运行状态的信息；利用这两个系统动态地采集电力系统的数据信息，包括每个节点的电压、电力系统的拓扑信息、各节点的出力和负荷，再结合电力系统的结构参数数据，将这些数据送入电力调度系统的无功优化子系统，作为潮流计算的备用数据和之后神经网络训练所需的数据；

步骤三：算法的初始状态量s_t为各母线电压节点电压，包括电压的实部和虚部，通过动作神经网络产生电力网络节点动作μ(s_t|θ^μ)，包括三种类型的动作：调整发电机机端电压、节点电容器组切换以及变压器分接头设置，在生成记忆集的过程的训练中，加入遵从线性分布的探索噪声；在记忆集生成完毕之后的训练中，加入遵从高斯分布的探索噪声生成控制动作集，动作集a_t的生成方法表述为：

其中，η为探索噪声；U(0,1)为最小值为0，最大值为1的均匀分布；N(0,1)为均值为0，方差为1的正态分布；n为训练次数；C为记忆集大小；所述的动作神经网络由在线动作网络和目标动作网络组成，且两个动作网络的结构完全相同；

步骤四：将a_t数据进行处理，处理流程如下：

由于在电力系统无功优化的过程中，对发电机机端电压、变压器抽头设置、节点电容器组容量均存在不等式约束，需要对动作值进行限制：

式中，a_tmin和a_tmax分别为动作值的限制最小值和限制最大值；

在实际电力系统中，发电机、节点电容器组和变压器抽头，它们的调整动作都是离散的分级控制，而深度梯度策略算法中输出的动作是连续的，需要对动作值进行离散化处理：

式中，a_step为动作的步长；a'_t为离散化处理后的动作值；

处理后的动作值a'_t直接加在进行潮流计算所需的母线数据和线路数据之中，即通过改变PV节点的电压值，PQ节点的无功负荷，以及连接线上的电压变比来改变潮流计算结果；

通过新的潮流结果得到电力系统中各节点的母线电压作为新的状态信息s_t+1和系统的有功网损P_loss，计算得到奖励信息：

式中，r_t是奖励信号；P_loss是电力系统的有功网损；K是用于降低r_t相对于P_loss灵敏度的系数，为电力系统总负荷的5％；

步骤五：算法将训练得到的状态-动作-下一个状态-奖励值(s_t,a_t,s_t+1,r_t)存入记忆集，这四个数据分别对应电力系统中，上一时刻的节点电压，电力系统动作值，这一时刻的节点电压，以及有功网损，将其作为训练神经网络的数据集，再通过随机采样的方式抽取记忆集中的N组数据放入小批量数据集之中，也就是每次随机采样相同数目且连续的样本作为动作神经网络和估值神经网络的训练数据；所述的估值神经网络由在线估值网络和目标估值网络组成，两个估值网络结构完全相同，将其分别输入动作神经网络的目标动作网络和估值神经网络的目标估值网络，目标动作网络的输出为：μ'(s_t+1|θ^μ')，目标估值网络的输出为q'_t+1＝Q'(s_t+1,μ'(s_t+1|θ^μ')|θ^Q')，由此得到标签函数：

y_t＝r_t+γq'_t+1 (6)

式中，y_t为标签值；r_t为奖励信号；γ为折扣系数，取接近于1的数；

步骤六：将y_t和小批量数据集中的数据作为在线估值网络的输入对其进行训练，定义网络损失函数loss为在线估值网络的输出q_t＝Q(s_t,a_t|θ^Q)和标签y_t的均方差：

其中，N为小批量数据集采样的大小；

基于loss针对θ^Q的梯度利用亚当斯优化方法对在线估值网络参数进行优化，在线动作网络的策略梯度是利用确定性策略梯度算法中的策略梯度公式得到的：

同样基于此梯度策略，采用亚当斯优化器对在线动作网络参数进行优化，以此来进行对在线估值网络和在线动作网络的训练；

步骤七：为了维持各神经网络的稳定，需要利用软更新的方法将在线动作网络和在线估值网络的参数分别传递给目标动作网络和目标估值网络，实现网络参数的更新，以此来进行目标动作网络和目标估值网络的训练：

式中，θ^μ'为目标动作网络参数；θ^Q'为目标估值网络参数；θ^μ为在线动作网络参数；θ^Q为在线估值网络参数；τ为更新系数，取接近0的数；

步骤八：循环步骤三到步骤七，并达到最小值，完成无功优化过程；此时，由于动作神经网络的参数也不再变化，从而动作神经网络对应输出的电力系统动作值也收敛，把这个收敛后的动作值传递给相关调度人员，电网的调度人员依据这些动作值来调整机端电压、无功补偿电容器投入组数、变压器抽头设置，从而实现实际电力系统无功优化。