[发明专利]一种基于强化学习的微电网频率控制方法

说明书

本发明提供了一种基于强化学习的微电网频率控制方法，包括：步骤1，建立微电网频率控制模型：采取控制频率和电压幅值的方式控制输出的功率、调节下垂参数进行调频控制；步骤2，基于强化学习的频率控制策略：根据规定的频率设计状态空间、动作集和奖励函数，并训练Q表选取最优修正量；步骤3，建立基于强化学习的微电网频率控制系统：基于Q学习对不同场景进行训练，从学习训练过程、频率控制响应特性多个方面验证所提方法的有效性和适应性。

技术领域

本发明涉及微电网频率控制领域，具体涉及一种基于强化学习的微电网频率控制方法。

背景技术

微电网通过将储能装置，负荷，发电单元结合在一起，形成一个可控单元，将分布式电源以微电网形式并网，实现对分布式电源的充分利用。微电网是实现新能源并网、改善其供电质量、提高新能源利用率的重要技术途径。

和传统的发电机组不同，接入微电网的分布式电源不存在转子惯性，这导致微电网等效惯量较低，在并网模式下还可以利用主网进行频率支撑，而在孤网模式下，由于系统惯量较低，一旦出现负载波动，就会对系统频率产生极大的影响,甚至导致停电事故。又由于微电网中大部分发电单元都采用下垂控制方法进行控制，因此在微电网孤网运行时，其运行频率极易偏离国家规定的电力系统运行频率。因此，如何对微电进行频率恢复控制，稳定其运行频率，成为了新的研究热点。

发明内容

为了弥补现有技术的缺乏，本发明提供了一种基于强化学习的微电网频率控制方法。

所述方法包括：

步骤1建立微电网频率控制模型；

所述的微电网频率控制的方法是对微电网频率偏离预期值时进行频率的恢复控制，而下垂控制是分布式电源并网最常用的控制方式，实现分布式电源对等控制的目的；

将分布式电源并联连接，当线路上的电感值远大于电阻值时，可以得到逆变器输出有功功率为：

式中，δ₁为一号分布式电源的电压功角，U₁为其输出电压幅值，E为公共点电压幅值，X为线路阻抗。因此可以采取控制频率和电压幅值的方式控制输出的功率，有功部分的下垂控制方程如下：

f＝f₀-k_p(P-P^*) 式(2)

式中:f₀为额定频率，p^*为额定有功功率，k_p为有功下垂系数；

当微电网供需功率不平衡时，运行频率偏移期望，可以通过调节下垂参数进行调频控制，控制方式如下：

f＝f₀-k_p(P-P^*-ΔP^*) 式(3)

式中,ΔP^*为P^*的修正量；

步骤2基于强化学习的频率控制策略；

所述的控制策略是通过采用强化学习下的Q学习算法对下垂控制参数进行调节，实现频率恢复控制，其步骤如下：

步骤2.1：根据我国的规定，电力系统在运行时其频率应当保持在50±0.2Hz的范围以内，采用自动控制的电力系统频率应保证在50±0.15Hz的范围以内；因此以电力系统的频率偏差为依据，对微电网的状态进行定义，划分不同的状态空间，再根据微电网中可控电源可用于调频控制的容量设计出所需的动作集，来对系统的额定有功功率进行修正，调节分布式电源的输出功率，以此来稳定微电网频率；