[发明专利]基于强化学习的无功电压优化方法、装置、设备及介质

说明书

本申请公开了一种基于强化学习的无功电压优化方法、装置、设备及介质，通过利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，从而利用名义模型的优化结果为深度强化学习提供参考；利用马尔可夫决策过程，根据第一策略模型，生成无功优化智能体；基于无功优化智能体与实际配电网进行实时交互，以对实际配电网进行无功电压优化，以及利用强化学习算法，更新无功优化智能体。从而随着强化学习智能体的无功优化能力的提高，逐渐降低名义模型的优化力度，摆脱对配电网模型的依赖，提高无功优化精度。

技术领域

本申请涉及电压控制技术领域，尤其涉及一种基于强化学习的无功电压优化方法、装置、设备及介质。

背景技术

随着数字配电网接入越来越多的分布式电源，高渗透率的分布式电源并网会引起电压波动或者电压过高导致其脱网，严重制约主动配电网消纳可再生能源发电的能力，浪费电网资源和可再生能源。为此，主动配电网会利用无功电压控制算法，通过控制无功可调资源，实现降低网损和改善电压的目的。

目前，传统配电网电压控制算法主要基于模型驱动，包括集中式算法和分布式算法。集中式算法需要实时获取电网的状态信息，容易受到通信质量影响。分布式算法通常不需要与邻居通信，但是其优化效果严重依赖于配电网模型和参数精确性。而主动配电网具有高度非线性异构时变等复杂特性，以及存在配电网规模大和量测稀疏等因素，导致模型参数存在严重不确定性，从而导致在实际应用中难于获得高精度的配电网模型。可见，传统模型驱动优化控制方法难以适应业务需求。

发明内容

本申请提供了一种基于强化学习的无功电压优化方法、装置、设备及介质，以解决基于模型驱动的传统优化方法难以获得高精度模型使得决策精度低，导致难以适应业务需求的技术问题。

为了解决上述技术问题，第一方面，本申请提供了一种基于强化学习的无功电压优化方法，包括：

利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，所述历史工况数据包括发电有功功率、负载有功功率和负载无功功率；

利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体；

基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体。

在一些实现方式中，所述利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，包括：

利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据；

利用所述预设深度学习优化器，根据所述历史工况数据，输出无功电压控制数据；

基于所述无功电压优化数据和所述无功电压控制数据，计算所述预设深度学习优化器的第一损失函数；

基于所述第一损失函数更新所述预设深度学习优化器，并确定所述预设深度学习优化器是否达到收敛条件；

若所述第一损失函数达到最小值，则判定所述预设深度学习优化器达到收敛条件，得到所述第一策略模型。

在一些实现方式中，所述利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据，包括：

利用所述名义模型，根据所述历史工况数据，对所述实际配电网进行潮流分析，输出所述无功电压优化数据，所述名义模型为：