[发明专利]基于强化学习的无功电压优化方法、装置、设备及介质

权利要求书

1.一种基于强化学习的无功电压优化方法，其特征在于，包括：

利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，所述历史工况数据包括发电有功功率、负载有功功率和负载无功功率；

利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体；

基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体。

2.如权利要求1所述的基于强化学习的无功电压优化方法，其特征在于，所述利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，包括：

利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据；

利用所述预设深度学习优化器，根据所述历史工况数据，输出无功电压控制数据；

基于所述无功电压优化数据和所述无功电压控制数据，计算所述预设深度学习优化器的第一损失函数；

基于所述第一损失函数更新所述预设深度学习优化器，并确定所述预设深度学习优化器是否达到收敛条件；

若所述第一损失函数达到最小值，则判定所述预设深度学习优化器达到收敛条件，得到所述第一策略模型。

3.如权利要求2所述的基于强化学习的无功电压优化方法，其特征在于，所述利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据，包括：

利用所述名义模型，根据所述历史工况数据，对所述实际配电网进行潮流分析，输出所述无功电压优化数据，所述名义模型为：

其中，r_p(x_t,u_t)为网损或发电成本，x_t为因变量，u_t为控制变量，D_t为包含所述历史工况数据的扰动变量，b为主动配电网模型的模型参数，A为主动配电网模型的拓扑结构，g表示潮流方程，h_v表示电压与控制变量的不等式约束方程。

4.如权利要求1所述的基于强化学习的无功电压优化方法，其特征在于，所述利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体，包括：

在所述马尔可夫决策过程中，以预设强化学习智能体观测实际配电网在当前时刻下的第一状态信息，所述第一状态信息包括节点注入有功功率、节点注入无功功率、节点电压和无功输出功率；

利用所述第一策略模型，选择所述第一状态信息对应的第一动作信息，并计算所述预设强化学习智能体的第一奖励信息和观测下一时刻下的状态信息，以生成所述无功优化智能体。

5.如权利要求1所述的基于强化学习的无功电压优化方法，其特征在于，所述基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体，包括：

基于所述第一策略模型的模型参数，生成第二策略模型，并初始化两个预设批评家网络以及数据缓冲区；

基于所述第二策略模型生成目标策略模型，基于两个所述批评家网络生成两个目标批评家网络；

若所述数据缓冲区的数据量小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第二状态信息，并根据所述目标策略模型，选择所述第二状态信息对应的第二动作信息，对所述实际配电网进行无功电压优化，以及基于所述第二状态信息和所述第二动作信息更新所述数据缓冲区；

若所述数据缓冲区的数据量不小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第三状态信息，并选择所述第三状态信息对应的确定性动作信息，对所述实际配电网进行无功电压优化，以及利用所述目标批评家网络，基于所述数据缓冲区，对所述目标策略模型进行更新。