[发明专利]基于多智能体深度强化学习的电压分布式控制方法及系统

说明书

本发明提供一种基于多智能体深度强化学习的电压分布式控制方法，包括：根据被控电网整体无功电压控制目标与优化模型，制定各被控区域无功电压控制目标，并建立无功电压优化模型；结合优化模型与电网的实际配置情况，构建基于马尔科夫游戏的多智能体交互训练框架；初始化各神经网络及相关控制过程变量并下发到各控制区域；各区域本地控制器根据接收的策略神经网络并行执行控制步骤；各区域本地控制器并行执行上传样本步骤，上传量测样本到云服务器；云服务器并行学习各个控制器策略并下发更新后的策略到各区域控制器。本发明实现了无功电压灵活控制和模型不完备场景下的最优控制。

技术领域

本发明属于电力系统运行和控制技术领域，特别涉及一种基于多智能体深度强化学习的电压分布式控制方法及系统。

背景技术

在能源与环境问题的推动下，清洁型、分散型可再生能源(DistributedGeneration，简称DG)在电网中的比例日益提高，大规模、高渗透率DG发电并网成为能源与电力领域的前沿和热点。由于DG量大分散、波动性强，其在配电网乃至输电网的电压质量与调度运行等方面带来了一系列负面影响。DG常常通过电力电子逆变器并网，具备灵活高速的调节能力。为高效控制DG并改善高渗透率电网的电压质量，无功电压控制已成为电网调控运行的重要课题。在传统电网中，常采用基于电网模型的集中式优化方法实现无功电压控制，在消除电压越限的同时改善被控电网网损。

然而，集中式优化控制方法往往存在单点失效、通讯与计算负担高、受通信时延影响严重等关键问题。特别是在高渗透率电网中，被控DG众多，网络结构复杂，使得集中式控制方法严重受限，无法合理调控高速资源。因此，一系列分布式无功电压控制方法应运而生，分布式方法相比于集中式方法，往往对通信条件的要求更弱，控制速度更快。

但是，现有的分布式控制往往采用基于模型的优化方法，由于电网的理想模型难以获得，基于模型的优化方法无法保障控制效果，现有的分布式控制优化方法往往出现控制指令远离最优点、电网运行在次优状态的情况，在连续在线运行场景下，更加难以满足高效、安全控制的要求。

因此，提供一种高安全性、高效率以及高灵活性的电网无功电压控制方法是本领域亟待解决的技术问题。

发明内容

针对上述问题，本发明提供一种基于多智能体深度强化学习的电压分布式控制方法，包括：

步骤1：根据被控电网整体无功电压控制目标与优化模型，制定各被控区域无功电压控制目标，并建立无功电压优化模型；

步骤2：结合优化模型与电网的实际配置情况，构建基于马尔科夫游戏的多智能体交互训练框架；

步骤3：初始化各神经网络及相关控制过程变量并下发到各控制区域；

步骤4：各区域本地控制器根据接收的策略神经网络并行执行控制步骤；

步骤5：各区域本地控制器并行执行上传样本步骤，上传量测样本到云服务器；

步骤6：云服务器并行学习各个控制器策略并下发更新后的策略到各区域控制器；

步骤7：重复执行步骤4、5、6。

进一步地，所述步骤1包括：

步骤1-1：建立被控电网整体无功电压控制目标与优化模型：

其中，为电网全部节点的集合，V_j为节点j的电压幅值；P_j为节点j的有功功率输出；Q_Gj为节点j的DG无功功率输出；Q_Cj为节点j的SVC无功功率输出；分别为节点j的电压下限与上限；分别为节点j的SVC无功功率输出的下限与上限；S_Gj,P_Gj分别为节点j的DG装机容量与有功功率输出；