[发明专利]一种基于多目标深度强化学习的主动配电网重构方法

说明书

本发明公开一种基于多目标深度强化学习的主动配电网重构方法，方法包括：步骤一、以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为构建多目标优化模型；步骤二、基于各时段各开关的状态矩阵、各时段各节点各相有功功率矩阵和无功功率矩阵构造配电网重构智能体的状态空间与动作空间；步骤三、将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法的设计多目标奖励函数；步骤四、采用基于最大熵的软行动器‑评判器深度强化算法实现可均衡协调三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构在线决策。填补了DRL方法应用在主动配电网多目标优化重构的空缺。

技术领域

本发明属于配电技术领域，尤其涉及一种基于多目标深度强化学习的主动配电网重构方法。

背景技术

配网重构作为配电网络优化运行的重要内容，可起到平衡负荷、消除过载和降低网损的作用。以往大多数配电网重构方面的文献是以最小化网络有功损耗为优化目标进行研究的，由于配网网损总量一般并不大，加之重构过程还会增加开关操作费用和人工费用等，因此通过配网重构降低网损可带来的经济效益往往非常有限。事实上，配电网运行中三相不平衡是长期以来亟待解决的突出问题。近年来随着单相或两相分布电源并入主动配电网的数量逐渐增多，这会加剧配电线路中三相不平衡。含分布式电源的配网三相不平衡常会引发三相电压不对称、中性线电流超限、配电变压器出力下降、线路损耗增加等诸多问题，而且在一定程度上会影响电网的安全稳定运行。因此，针对含分布式发电的主动配电网，通过配网重构以平衡三相负荷作用显得更为突出。配网重构一般可分为静态重构和动态重构，其中静态重构只是基于单个时段的配网负荷数据进行优化重构，而动态重构则是需要考虑多个连续时段内配网负荷数据的变化进行全局性优化重构。配网动态重构由于不仅考虑了网络的负荷波动特性，而且还需考虑供电可靠性、开关操作次数等实际运行中的约束条件，可实现有计划地进行网络重构，因此更具实用价值和研究意义。

在实际应用中开关的最大动作次数不应主观设为定值，而应考虑开关操作的性价比和实际情况，综合降损效果、操作费用、使用寿命和线路供电可靠性要求等因素来灵活确定。因此，如何考虑其三相平衡效果和开关动作总次数的协调关系，实现多目标优化重构成为了目前亟需解决的问题。

发明内容

本发明提供一种基于多目标深度强化学习的主动配电网重构方法，用于解决如何考虑三相平衡效果和开关动作总次数的协调关系，实现多目标优化重构的技术问题。

本发明提供一种基于多目标深度强化学习的主动配电网重构方法，步骤如下：

步骤一、以整个重构周期内三相不平衡度最小化和开关动作总次数最少化为目标函数构建多目标优化模型；

步骤二、基于各时段各开关的状态矩阵、各时段各节点各相有功功率矩阵和无功功率矩阵构造配电网重构智能体的状态空间与动作空间，其中配电网重构智能体的状态空间定义为：

，

式中，为在t时段的各开关的状态矩阵，为在t时段各节点各相有功功率矩阵和，为在t时段各节点各相无功功率矩阵；

配电网重构智能体的动作空间定义为：

；

步骤三、将三相电流总体不平衡度指标和开关总次数指标映射到归一化二维目标空间，并基于逼近理想解排序法设计多目标奖励函数；

步骤四、采用基于最大熵的软行动器-评判器深度强化算法实现可均衡协调三相平衡效果和开关动作总次数的主动配电网多目标优化动态重构在线决策。

进一步地，在步骤一中，以重构周期内三相不平衡度最小化的的目标函数的表达式为：

，

式中，为配电变压器在t时刻的a相电流不平衡度，为配电变压器在t时刻的b相电流不平衡度，为配电变压器在t时刻的c相电流不平衡度，为三相电流总体不平衡度，为时间周期；