[发明专利]一种基于串行Q学习算法的电力系统离散无功优化方法

说明书

本发明公开了一种基于串行Q学习算法的电力系统离散无功优化方法、装置、设备及计算机可读存储介质，包括：根据电力系统的控制变量、状态变量、等式约束及不等式约束，构建RPO问题的目标模型；对所述控制变量中的连续变量离散化后，根据串行Q学习算法，结合奖励函数，利用N个代理分别对所述控制变量中N个单维控制变量进行优化；所述奖励函数根据所述状态变量的安全裕度值设定；依据优化后的N个单维控制变量，确定所述目标模型的最优值，从而得到所述电力系统的最小网损总和与所述状态变量的目标安全稳定裕度。本发明所提供的方法、装置、设备及计算机可读存储介质在优化网损的过程中保持变量的离散性且对状态变量的安全稳定裕度进行了优化。

技术领域

本发明涉及电力系统无功优化领域，特别是涉及一种基于串行Q学习算法的电力系统离散无功优化方法、装置、设备以及计算机可读存储介质。

背景技术

在电力系统中，给定输电网络的拓扑结构和输电线路的参数的条件下，有功、无功负荷和发电机的出力可分别从负荷预测和经济调度过程中获得。另一方面，为了保持电压水平、降低输电网络功率损耗并确保电力系统的安全稳定运行，优化无功功率也至关重要。

无功优化问题(Reactive Power Optimization，RPO)是最优潮流计算的一个子问题。它通过调节发电机的无功功率输出、变压器的抽头比和无功补偿装置的容量等控制变量，达到最小化线路损耗的目的。同时，RPO受限于电力系统中一系列的物理和运行约束。由于无功补偿装置的容量和变压器抽头比本质上是离散变化的，而发电机的无功功率输出是连续变量，因此RPO问题的数学模型是一个混合整数非线性规划问题，其优化过程非常复杂，长期以来一直是最优潮流计算研究的焦点之一。

现有RPO研究工作在物理和运行约束条件下可以得到使网损最小化的控制变量最优解，但大多数工作忽略了最大化节点电压幅值和发电机无功出力的安全裕度的目标。当优化结果使得节点电压临近边界值，那么轻微的负荷波动很可能会导致节点电压越界，这对电力系统安全稳定运行是一个隐患。

在RPO问题的求解方法方面，常用的最优化方法包括适用于线性和非线性问题的单纯形法、适用于非线性问题的内点法，以及适用于混合整数规划问题的分支定界法等。在这些方法中，拉格朗日函数和惩罚因子的引入将含有约束的RPO模型转化为无约束的优化问题。然而，上述传统规划方法对初始点的选取较为敏感，易于陷入局部最优。并且，数学规划方法需要已知目标函数或其偏导数的具体表达式，要求目标函数具有凸性、连续性和可导性。

人工智能方法解决RPO问题，特别是进化计算方法，可用来弥补上述数学规划方法的不足。例如，使用遗传算法，进化策略或一些其他演化方法解决RPO问题时，对目标函数是否是凸函数、其表达式是否连续可导并无要求。其全局搜索能力较强，不易于陷入局部最优。然而，这些方法忽略了变压器变比和无功补偿容量的离散特性，需要将其视为连续变量进行优化，随后再选取最优解邻近的离散值作为最终结果，这种方法很难保证得到了控制变量的最优离散值。

综上所述可以看出，如何在优化电力系统网损的过程中保持变量的离散性且对状态变量的安全稳定裕度进行优化是目前有待解决的问题。

发明内容

本发明的目的是提供一种基于串行Q学习算法的电力系统离散无功优化方法、装置、设备以及计算机可读存储介质，以解决现有的无功优化方法忽略了变压器变比和无功补偿容量的离散特性导致很难保证得到控制变量的最优离散值的问题。

为解决上述技术问题，本发明提供一种基于串行Q学习算法的电力系统离散无功优化方法，包括：根据电力系统的控制变量、状态变量、等式约束及不等式约束，构建电力系统无功优化问题的目标模型；对所述控制变量中的连续变量离散化后，根据串行Q学习算法，结合奖励函数，利用N个代理分别对所述控制变量中N个单维控制变量进行优化；其中，所述奖励函数根据所述状态变量的安全裕度值设定；依据优化后的N个单维控制变量，确定所述目标模型的最优值，从而得到所述电力系统的最小网损总和与所述状态变量的目标安全稳定裕度。