[发明专利]一种分布式储能系统二次调频控制方法及系统

说明书

本发明公开了一种分布式储能系统二次调频控制方法，所述方法包括：根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；确定储能系统的状态区间；根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；对所述状态区间进行初始化；根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。

技术领域

本发明涉及电力储能技术领域，更具体地，涉及一种分布式储能系统二次调频控制方法及系统。

背景技术

储能技术主要是指电能的储存。储存的能量可以用做应急能源，也可以用于在电网负荷低的时候储能，在电网高负荷的时候输出能量，用于削峰填谷，减轻电网波动。能量有多种形式，包括辐射，化学的，重力势能，电势能，电力，高温，潜热和动力。能量储存涉及将难以储存的形式的能量转换成更便利或经济可存储的形式。大量储能目前主要由发电水坝组成，无论是传统的还是水泵抽水的。

近年来，储能技术快速发展，在国家政策支持以及市场的引导下，储能成本明显降低。储能系统的快速发展给电力系统的安全稳定运行带来了新的生机，电池储能技术具有快速精确的响应能力，比传统调频手段更为高效。强化学习(reinforcement learning)是一种重要的机器学习方法，在智能控制及分析预测等领域有许多应用，将人工智能技术应用到电力系统中是未来电力系统的一种发展趋势。

因此，需要一种技术，以实现对分布式储能系统二次调频进行控制。

发明内容

本发明技术方案提供了一种分布式储能系统二次调频控制方法及系统，以解决如何对分布式储能系统进行二次调频控制的问题。

为了解决上述问题，本发明提供了一种分布式储能系统二次调频控制方法，所述方法包括：

根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；

确定储能系统的状态区间；

根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；

对所述状态区间进行初始化；

根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；

利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；

当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。

优选地，所述强化学习矩阵的收敛条件为：

当所述强化学习矩阵在k次循环中没有变化，即Q_i＝Q_i+1＝Q_i+2＝…＝Q_i+k-1＝Q_i+k，其中Q_i、Q_i+1、Q_i+2、Q_i+k-1、Q_i+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，k值根据需要进行设定。

优选地，当所述强化学习矩阵在达到预设的时间后仍不满足收敛条件，则停止计算下一时刻所有动作的奖励值。

优选地，还包括，对所述强化学习矩阵Q进行归一化处理，归一化规则为：