[发明专利]一种基于D3QN的主动配电网多目标无功控制方法

说明书

本发明公开了一种基于D3QN的主动配电网多目标无功控制方法，包括：以综合了主动配电网模型的电压偏差、网络损耗、无功补偿器动作成本和弃风弃光功率成本四部分的目标函数最小为优化控制目标；以配电网潮流约束、节点电压安全约束、支路电流安全约束为约束条件建立无功优化控制模型。然后设计了强化学习的状态空间、动作集合和奖励函数，构建了多目标无功控制的马尔科夫过程。最后基于D3QN深度强化学习网架迭代训练，得到经D3QN学习优化后的状态空间，寻找出主动配电网的最优调度状态。本发明的无功控制方法有效提升了电能质量，同时考虑了控制过程中的动作成本与新能源大规模接入配电网带来的弃风弃光功率成本，取得了很好的优化效果。

技术领域

本发明涉及人工智能中的深度强化学习领域与电力系统调度控制中的无功控制领域，更具体地，涉及一种基于D3QN的主动配电网多目标无功控制方法。

背景技术

分布式发电(Distributed Generation，DG)的具体实现形式有风力发电和光伏发电，具有节能、环保的特点，且对于高峰期的电力负荷比集中供电更经济有效。DG大规模接入配电网可以提高清洁能源的比重，是实现“碳达峰、碳中和”的双碳目标，解决因煤炭价格上涨到之后的供电紧缺问题的重点所在。

为适应高渗透率、大规模DG的接入，国内外学者正积极开展智能电网背景下的具有一定调节能力的ADN技术研究。无功控制技术是AND运行的核心技术之一。具体的无功控制策略包括DG出力调度、电容器组无功补偿、有载调压变压器(on-load tap changer，OLTC)分接头调整、网络重构等。传统的无功控制目标为控制系统电压与网损，但随着高比例清洁能源的接入与配电网拓扑结构的日益复杂，传统的无功控制目标已经无法满足主动配电网发展的需要。

DG的强波动性会带来电压反复波动，可能导致无功补偿设备频繁地调节来控制电压偏差、优化网损。所以，在DG大规模接入配电网的大背景下，研究一种多目标的无功控制模型具有重要意义。

发明内容

为解决上述问题，本发明在主动配电网中的背景下提出了一种基于D3QN深度强化学习算法的多目标无功控制模型，控制的目标是使综合了电压偏差、有功功率损耗和无功补偿设备动作次数的目标函数达到最优值。

深度强化学习D3QN是一种新型深度强化学习算法，结合了Double DQN和DuelingDQN的优点，在传统DQN算法中做了改进。本发明设计的基于DQ3N算法的无功优化控制模型可以在大规模DG接入的背景下对多目标的主动配电网模型做综合优化。

具体地，本发明提出一种基于D3QN的主动配电网多目标无功控制方法，所述方法包括以下步骤：

S1：构建多目标无功控制模型的目标函数；

S2：构建上述目标函数的约束条件集合；

S3：设计强化学习中的马尔科夫决策过程；

S4：基于D3QN深度强化学习算法，完成所述无功控制模型的优化求解。

优选地，所述步骤S1所述的目标函数是包括主动配电网电压偏差、网络损耗、无功补偿设备动作成本和弃风弃光功率成本的多目标无功控制模型的目标函数，所述目标函数如下：