[发明专利]深度Q网络驱动的电力系统运行方式自动趋优调整方法

权利要求书

1.深度Q网络驱动的电力系统运行方式自动趋优调整方法，其特征在于，包括以下步骤：

S1：以典型运行方式为调整的基准方式，确定负荷波动范围，并结合拉丁超立方抽样方法生成大量用于训练和测试的目标方式样本数据；

S2：确定电网模型中所有可行的单次控制动作，并进行编号，将其设定为动作空间；

S3：初始化电网模型，判断是否存在未训练过的样本，若存在则将样本中的负荷数据赋值给电网模型，并对当前运行方式发电机出力数据进行收敛性优化处理，若不存在则终止训练；

S4：进行潮流计算，并归一化处理计算后得到的状态数据，存入至状态向量s中；在电网的结构参数和负荷情况已经给定的情况下，状态向量s表示为：

s＝{P_G,V,P_line,T_{p_pos}}

其中，P_G表示当前状态下的发电机功率；V表示节点电压；P_line表示线路的有功功率；T_{p_pos}表示变压器抽头的档位；

S5：搭建深度神经网络并进行训练，对当前电网状态s中各项数据和动作空间中各调整动作的动作值进行拟合；

S6：根据ε-贪婪策略从动作空间中选取调整动作a执行，并计算潮流，获得新状态向量s’；

S7：判断状态s’是否满足约束条件，若满足条件则根据奖励函数给出奖励r，并将数据以向量(s，a，r，s’)的形式存至记忆单元D中，若不满足条件则给出惩罚；

S8：从记忆单元D中采样若干样本训练深度神经网络，并使用随机梯度下降方法更新深度神经网络参数θ；

S9：判断状态s’是否满足终止条件，若满足条件则回到S3，若不满足条件则回到S5。

2.根据权利要求1所述的深度Q网络驱动的电力系统运行方式自动趋优调整方法，其特征在于，

所述步骤S1具体为：

拉丁超立方抽样方法：将样本的取值范围根据抽样个数均分为N等份，在每份内选取一个样本，使其能遍布整个样本空间，且具有一定的随机性；

以电网典型运行方式的负荷数据为基准，随机负荷波动为80％至120％，并且，在原有数据上添加扰动，最终生成N个样本数据。

3.根据权利要求2所述的深度Q网络驱动的电力系统运行方式自动趋优调整方法，其特征在于，

所述步骤S2具体为：

选取电网模型中所有可行的单次控制动作，将其设定为动作空间A，其中包括了发电机出力动作a_G、变压器抽头动作a_T和无功补偿动作a_C；发电机出力动作分为+△和-△两种状态，其中△表示发电机功率的调整幅度；变压器抽头动作又分为升一档和降一档两种状态；无功补偿动作则包括了投入和切出两种状态，即：

A＝{a_G,a_T,a_C}

将电网模型中所有的单次控制动作进行编号，并与调整策略形成映射。

4.根据权利要求3所述的深度Q网络驱动的电力系统运行方式自动趋优调整方法，其特征在于，

所述步骤S3具体为：

对当前电网运行方式的发电机出力进行收敛性优化处理：即求取负荷数据的总变化量，并将变化量均摊至每台发电机；此时，智能体可获得一个更接近目标方式可行域的初始运行方式来开始训练。

5.根据权利要求4所述的深度Q网络驱动的电力系统运行方式自动趋优调整方法，其特征在于，

所述步骤S4具体为：

对相关数据进行归一化处理：

其中，η_k表示对数据归一化处理后的结果；x_k表示电网方式状态数据的第k个数据值；N表示此项数据的个数；x_k,max和x_k,min表示此项数据的上下限值。