[发明专利]一种基于深度强化学习的配电网拓扑电压调节方法

权利要求书

1.一种基于深度强化学习的配电网拓扑电压调节方法，其特征在于，包括以下步骤：

步骤1：采集配电网历史运行数据作为深度强化学习模型的学习样本数据，包括分布式电源出力、负荷水平数据；

步骤2：根据深度强化学习对于基于拓扑的配电网调压问题进行建模，包括状态、动作、Q值网络结构以及奖励函数的定义；

步骤3：输入当前状态，基于深度强化学习中的Q值网络，根据ε-greedy动作策略从配电网当前闭合支路中选择一条支路断开；

步骤4：根据图论计算当前配电网拓扑下所述步骤3断开支路所对应的基本割集，选择基本割集中的最优支路断开，根据潮流计算结果计算奖励，并得到下一状态，将当前状态、动作、奖励以及下一状态保存以供Q值网络的训练；

步骤5：深度强化学习智能体根据记忆池中的数据进行Q值网络的参数更新，直到得到学习终止条件；

在所述步骤2中的动作定义包括两部分：

1)基于Q值网络从当前配电网拓扑中的闭合支路集中选择一条断开；

2)基于潮流计算从该闭合支路的基本割集中选择一条使得控制目标函数最低的支路闭合；所述目标函数的计算如下：

式中，f1,f2及f3为目标函数的三个组成部分，分别为电压偏移量、变动的开关数及网损；α,β,δ为权重系数，vi为节点电压，为节点标准电压，为各线路初始状态，s_i为拓扑调节后各线路的状态，r_ij为各线路电阻，P_ij,Q_ij为闭合支路上的有功无功功率；

所述Q值网络结构Q值网络共包括三层集合图卷积神经网络，集合图卷积神经网络对配电网中的图数据进行特征挖掘，其中每层集合图卷积神经网络后还加上了一层多层感知器；

Q值网络的输入信息包括节点特征矩阵和节点邻接矩阵，将第三层集合图卷积神经网络的节点邻接矩阵改成线路邻接矩阵，其取值具有如下形式：

式中，LAM为线路邻接矩阵，le为第e条线路，ni表示第i个节点，Lon为闭合支路集，Loff为断开支路集；

所述奖励函数机制分为以下几个步骤：

第一步：输入当前状态s＝{NAM,LAM,NFM}，基于Q值网络从闭合支路集合选择一条断开，其中NAM为节点邻接矩阵，NFM为节点特征矩阵；

第二步：根据目标函数将断开支路基本割集的最优支路闭合；

第三步：如果断开的支路与闭合的支路为同一条支路，则给智能体一个较大奖励，终止本次迭代学习，转第五步，奖励与当前所计算得到的目标函数值负相关；

第四步：如果断开的支路与闭合的支路不是同一条支路，则智能体奖励值为0，并且继续迭代学习，转第五步；

第五步：输出新的状态s′＝{NAM′,LAM′,NFM′}。

2.根据权利要求1所述的一种基于深度强化学习的配电网拓扑电压调节方法，其特征在于，在所述步骤2中的状态定义过程中，将状态表示为以下形式：

s＝(G,P_net,Q_net)

where G＝(V,L)

P_net＝P_load+P_dg+P_dlc

Q_net＝Q_load+Q_dg+Q_cap

式中，s为智能体的状态，G为当前网络拓扑结构，Pnet为网络节点上的有功，包括有功负荷Pload，新能源有功出力Pdg以及直接负荷控制Pdlc，Qnet为网络节点上的无功功率，包括无功负荷Qload，新能源无功出力Qdg以及并联电容器无功值Qcap。

3.根据权利要求1所述的一种基于深度强化学习的配电网拓扑电压调节方法，其特征在于，步骤3中ε-greedy动作策略具体为：

其中，A表示开关的动作空间，a表示开关的动作，P表示随机生成的在(0,1)内的数，Q(s,a)表示第i个开关在环境s、动作a下的Q值，a^r表示随机选择的动作。