[发明专利]考虑多维度频率控制性能标准的智能频率控制方法

说明书

考虑多维度频率控制性能标准的智能频率控制方法，在CPS频率控制策略基础上，引入CPS控制与BAAL控制实现协同控制。构建多维度频率控制性能标准协同评价的智能频率控制策略，包括针对多维度频率控制性能标准在时间尺度上的冲突，构建协同奖励函数；基于构建的协同奖励函数，更新多目标强化学习的Q值。用TOPQ学习策略，计算MORL算法的最大Q值，以对动作空间进行智能决策。对优化控制后的系统稳定性改善效果进行综合评估。本发明该控制方法能够有效应对风电等新能源并网时带来的短时功率扰动问题，能有效解决多维度频率控制性能指标在时间尺度上的矛盾，提高了系统稳定性。

技术领域

本发明属于电网频率协同控制技术领域，具体涉及一种考虑多维度频率控制性能标准的智能频率控制方法。

背景技术

在二次调频工程实际中，计及区域控制偏差比例分量、积分分量、以及CPS控制分量联合影响的阀值分区AGC控制方法被我国广泛采用。近年来随着大规模新能源并网以各类调频手段的引入，互联电网频率协同控制变得日益复杂。

智能频率控制方法因其不依赖于模型的特征特性，在国内得到了大量关注并做了大量研究。传统的模糊控制、启发式遗传控制策略、粒子群优化控制方法相继被应用于智能AGC控制中。随着深度学习和强化学习的深入研究，基于深度神经网络模型并采用反向传播方法训练的区域控制偏差(Area Control Error，ACE)最优智能AGC控制策略得到应用。为解决基于深度学习泛化能力较差，极易陷入局部最小值的问题，基于强化学习的互联电网AGC控制策略被提出，有效提高了智能频率控制器的收敛速度。

尽管以上智能AGC控制方法已有较为充分的研究，但上述智能控制方法均构建在CPS频率控制性能评价标准基础上，CPS指标对短时区域间功率支援的评估灵敏度低，无法兼顾频率控制性能的短期收益。在含大规模风电并网的系统中，各区域遵守CPS指标的能力受到限制，仅考虑CPS控制准则的智能AGC控制策略，极易造成频率短期集中越线，严重影响智能AGC控制策略的控制效果。

发明内容

为解决上述技术问题，本发明提供一种考虑多维度频率控制性能标准的智能频率控制方法，该方法基于多目标强化学习思想(Multi Objective Reinforcement Learning,MORL)，充分考虑多维度频率控制性能标准在时间尺度上的冲突问题，在多目标强化学习算法的奖励函数中引入协调因子从而构成协同奖励函数；同时采用TOPQ学习策略替代传统贪婪学习策略，以提高智能体的寻优精度。该控制方法能够有效应对风电等新能源并网时带来的短时功率扰动问题，能有效解决多维度频率控制性能指标在时间尺度上的矛盾，提高了系统稳定性。

本发明采取的技术方案为：考虑多维度频率控制性能标准的智能频率控制方法，包括以下步骤：

步骤S1：在CPS频率控制策略基础上，引入CPS控制与BAAL控制实现协同控制；

CPS控制由下式表示：

其中：T为整个时间周期，△F为频率偏差，△P_tie为联络线功率偏差，为本区域自身的频率偏差贡献度，为其他区域对本区域的频率贡献度，为综合频率偏差贡献度；定义为综合频率偏差因子，用ψ表示。

BAAL控制由下式表示：

其中：T'为任意开始越线时间节点；T”为持续越线时间；T_v为规定的允许连续越限时长。

步骤S2：构建多维度频率控制性能标准协同评价的智能频率控制策略，包括以下步骤：步骤S2.1：针对多维度频率控制性能标准在时间尺度上的冲突，构建协同奖励函数：

构建了考虑协调CPS1指标与BAAL指标的协同奖励函数：