[发明专利]一种基于多目标深度强化学习的主动配电网重构方法

权利要求书

1.一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，步骤如下：

步骤一、以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为目标函数构建多目标优化模型；

步骤二、基于各时段各开关的状态矩阵、各时段各节点各相有功功率矩阵和无功功率矩阵构造配电网重构智能体的状态空间与动作空间，其中配电网重构智能体的状态空间定义为：

O’_t＝[s_t，P_t，Q_t]，

式中，s_t为在t时段的各开关的状态矩阵，P_t为在t时段各节点各相有功功率矩阵和，Q_t为在t时段各节点各相无功功率矩阵；

配电网重构智能体的动作空间定义为：

Y_t＝[s_t]；

步骤三、将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法设计多目标奖励函数；

步骤四、采用基于最大熵的软行动器-评判器深度强化算法实现可均衡协调三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构在线决策，其中，最大熵的软行动器-评判器深度强化算法包括价值网络、动作-价值网络以及策略网络，其中所述价值网络的目标函数为：

式中，为t时刻下Q网络的目标函数，Q网络为价值网络，θ为Q网络的参数，E[]为括号内的期望，为t时刻下Q网络的动作价值函数，γ折扣因子，为t+1时刻的价值函数，O_t为系统t时刻的状态值，O_t+1为系统t+1时刻的状态值，R_t为t时刻交互的收益值。

2.根据权利要求1所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，在步骤一中，以重构周期内三相不平衡度最小化的目标函数的表达式为：

式中，为配电变压器在t时刻的a相电流不平衡度，为配电变压器在t时刻的b相电流不平衡度，为配电变压器在t时刻的c相电流不平衡度，D为三相电流总体不平衡度，T为时间周期；

以重构周期内开关动作总次数最少化的目标函数的表达式为：

式中，S_k，t为开关k在t时段的状态，S_k，t-1为开关k在t-1时段的状态，K为配网中的可用开关总数。

3.根据权利要求1所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，在步骤一中，所述多目标优化模型的约束包括节点电压约束、支路传输功率约束以及网络不满足辐射状网络拓扑约束，所述多目标优化模型的表达式为：

式中，D_p为约束校核后的三相电流总体不平衡度，N_p为约束校核后的开关动作总次数，Pu₁为节点电压约束和支路传输功率不满足约束条件的越限惩罚项，Pu₂为网络不满足辐射状网络拓扑约束条件的惩罚项，D为三相电流总体不平衡度，N为开关动作总次数；

其中，构造节点电压约束和支路传输功率不满足约束条件的越限惩罚项为：

式中，和分别为网络中节点n的电压上下限，为网络中支路l的传输功率上限，U_n，t为t时刻网络中节点n的电压值，S_l，t为t时刻网络中支路l的传输功率，M为网络节点总数，L为支路总数，μ₁和μ₂均为惩罚因子，T为时间周期；

构造网络不满足辐射状网络拓扑约束条件的惩罚项为：

式中，μ₃为惩罚因子，rank()为求矩阵的秩，Lp(G)为矩阵。

4.根据权利要求3所述的一种基于多目标深度强化学习的主动配电网重构方法，其特征在于，其中所述节点电压约束以及所述支路传输功率约束的表达式为：

式中，和分别为网络中节点n的电压上下限，为网络中支路l的传输功率上限，U_n，t为t时刻网络中节点n的电压值，S_l，t为t时刻网络中支路l的传输功率。