[发明专利]深度Q网络驱动的电力系统运行方式自动趋优调整方法

说明书

本发明公开了一种深度Q网络驱动的电力系统运行方式自动趋优调整方法；以典型运行方式为调整的基准方式，确定负荷波动范围，并结合拉丁超立方抽样方法生成大量用于训练和测试的目标方式样本数据；确定电网模型中所有可行的单次控制动作，并进行编号，将其设定为动作空间；初始化电网模型，判断是否存在未训练过的样本，若存在则将样本中的负荷数据赋值给电网模型，并对当前运行方式发电机出力数据进行收敛性优化处理，若不存在则终止训练等。本发明保证计算速度的同时弥补了最优潮流方法在求解多目标最优潮流时难以收敛的问题，调整后所得方式的各项指标并无过大偏差，为深度强化学习应用于电网优化和控制问题提供方法参考。

技术领域

本发明涉及电力系统自动化技术领域，具体涉及深度Q网络驱动的电力系统运行方式自动趋优调整方法。

背景技术

电网运行方式作为由电网运行调控部门编制的关于电网运行与生产的总体技术方案，对于电网的规划设计、发电计划安排、电网实时调度以及检修计划制定等工作均具有指导作用。其编制需要充分考虑电网的结构、电源与负荷的分布以及设备运行的承载能力等复杂因素，在最大限度地满足负荷需求的同时确保电网整体的安全、稳定、可靠、灵活和经济运行，具有影响因素多、关联关系复杂、计算工作量大等特点。在编制过程中，又属潮流计算最为重要。潮流计算的结果能够为判断电网运行方式的好坏提供定量分析的依据，电网静态稳定、暂态稳定等计算也都需要以潮流计算为基础。而随着电网规模扩大和负荷水平上升，电网运行方式调整中存在的可控制变量多、多目标难以兼顾等问题逐渐凸显，潮流计算不收敛的情况在运行方式编制工作中频繁出现，在兼顾多项指标的同时进行潮流调整成为了电网运行方式编制工作中极为耗时和繁琐的一部分，而依赖于人工经验的传统调整方法已无法满足需求。而较为常见的最优潮流方法在处理大电网的运行方式调整时也存在着易陷入局部最优、多目标优化时潮流不易收敛等问题。基于此，本发明提出了一种深度Q网络驱动的电力系统运行方式自动趋优调整方法，充分利用深度强化学习在高维数据感知和多目标寻优中的优势。

发明内容

针对现有技术中的上述不足，本发明提供的一种深度Q网络驱动的电力系统运行方式自动趋优调整方法解决了，较为常见的最优潮流方法在处理大电网的运行方式调整时也存在着易陷入局部最优、多目标优化时潮流不易收敛等问题。将深度Q网络方法引入到电网运行方式调整问题中，以电网的发电机出力、节点电压、线路功率等数据为驱动，经过离线训练后，能在满足多个调整目标的前提下给出到达目标方式的调整策略，且稳定收敛，实现了电网运行方式的自动调整，形成了由方式数据到调整策略的映射。

为了达到上述发明目的，本发明采用的技术方案为：

深度Q网络驱动的电力系统运行方式自动趋优调整方法，包括以下步骤：

S1：以典型运行方式为调整的基准方式，确定负荷波动范围，并结合拉丁超立方抽样方法生成大量用于训练和测试的目标方式样本数据；

S2：确定电网模型中所有可行的单次控制动作，并进行编号，将其设定为动作空间；

S3：初始化电网模型，判断是否存在未训练过的样本，若存在则将样本中的负荷数据赋值给电网模型，并对当前运行方式发电机出力数据进行收敛性优化处理，若不存在则终止训练；

S4：进行潮流计算，并归一化处理计算后得到的状态数据，存入至状态向量s中；

S5：搭建深度神经网络并进行训练，对当前电网状态s中各项数据和动作空间中各调整动作的动作值进行拟合；

S6：根据ε-贪婪策略从动作空间中选取调整动作a执行，并计算潮流，获得新状态向量s’；

S7：判断状态s’是否满足约束条件，若满足条件则根据奖励函数给出奖励r，并将数据以向量(s，a，r，s’)的形式存至记忆单元D中，若不满足条件则给出惩罚；

S8：从记忆单元D中采样若干样本训练深度神经网络，并使用随机梯度下降方法更新深度神经网络参数θ；