[发明专利]一种基于深度强化学习的配电网拓扑电压调节方法

说明书

本发明公开一种基于深度强化学习的配电网拓扑电压调节方法，属于配网电压调节技术领域；调节方法包括：采集配电网历史运行数据作为深度强化学习模型的学习样本数据、根据深度强化学习对于基于拓扑的配电网调压问题进行建模、输入当前状态，基于深度强化学习中的Q值网络，根据动作策略从配电网当前闭合支路中选择一条支路断开、根据潮流计算结果计算奖励，并得到下一状态，将当前状态、动作、奖励以及下一状态保存以供Q值网络的训练、深度强化学习智能体根据记忆池中的数据进行Q值网络的参数更新，直到得到学习终止条件；缓解了传统配网调压资源逐渐满足不确定性电网调压需求的问题，节省外部调节设备的建设成本，保证电网安全经济运行。

技术领域

本公开属于配网电压调节技术领域，具体涉及一种基于深度强化学习的配电网拓扑电压调节方法。

背景技术

传统的配电网电压调节主要依赖于外部安装的设备，包括变电站有载调压器、智能逆变器和并联电容器等，并且只有智能逆变器被用于在线电压调节；近年来配电网中飞速发展的分布式电源加大了配电网调压的压力，导致出现已有调压资源无法完全满足在线调压需求的情况，而随着智能电网的发展出现了灵活性拓扑结构这一新型在线调节资源，可作为配电网的一种在线调节资源。

发明内容

针对现有技术的不足，本公开的目的在于提供一种基于深度强化学习的配电网拓扑电压调节方法，解决了现有配网电压调节资源的不足的问题。

本公开的目的可以通过以下技术方案实现：

一种基于深度强化学习的配电网拓扑电压调节方法，其特征在于，

步骤1：采集配电网历史运行数据作为深度强化学习模型的学习样本数据，包括分布式电源出力、负荷水平数据；

步骤2：根据深度强化学习对于基于拓扑的配电网调压问题进行建模，包括状态、动作、Q值网络结构以及奖励函数的定义；

步骤3：输入当前状态，基于深度强化学习中的Q值网络，根据ε-greedy动作策略从配电网当前闭合支路中选择一条支路断开；

步骤4：根据图论计算当前配电网拓扑下所述步骤2断开支路所对应的基本割集，选择基本割集中的最优支路断开，根据潮流计算结果计算奖励，并得到下一状态，将当前状态、动作、奖励以及下一状态保存以供Q值网络的训练；

步骤5：深度强化学习智能体根据记忆池中的数据进行Q值网络的参数更新，直到得到学习终止条件。

进一步地，在所述步骤2中的状态定义过程中，将状态表示为以下形式：

s＝(G,P_net,Q_net)

where G＝(V,L)

P_net＝P_load+P_dg+P_dlc

Q_net＝Q_load+Q_dg+Q_cap

式中，s为智能体的状态，G为当前网络拓扑结构，Pnet为网络节点上的有功，包括有功负荷Pload，新能源有功出力Pdg以及直接负荷控制Pdlc。Qnet为网络节点上的无功功率，包括无功负荷Qload，新能源无功出力Qdg以及并联电容器无功值Qcap。

进一步地，在所述步骤2中的动作定义包括两部分：

1)基于Q值网络从当前配电网拓扑中的闭合支路集中选择一条断开；

2)基于潮流计算从该闭合支路的基本割集中选择一条使得控制目标函数最低的支路闭合；所述目标函数的计算如下：