[发明专利]一种分布式储能系统二次调频控制方法及系统

权利要求书

1.一种分布式储能系统二次调频控制方法，所述方法包括：

根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；

确定储能系统的状态区间；

根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；

对所述状态区间进行初始化；

根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；

利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；

当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。

2.根据权利要求1所述的方法，所述强化学习矩阵的收敛条件为：

当所述强化学习矩阵在k次循环中没有变化，即Q_i＝Q_i+1＝Q_i+2＝…＝Q_i+k-1＝Q_i+k，其中Q_i、Q_i+1、Q_i+2、Q_i+k-1、Q_i+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，其中Q_i、Q_i+1、Q_i+2、Q_i+k-1、Q_i+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，k值根据需要进行设定。

3.根据权利要求1所述的方法，当所述强化学习矩阵在达到预设的时间后仍不满足收敛条件，则停止计算下一时刻所有动作的奖励值。

4.根据权利要求1所述的方法，还包括，对所述强化学习矩阵Q进行归一化处理，归一化规则为：

其中Q_uni为归一化的强化学习矩阵Q，Q_max为强化学习矩阵Q中的最大元素。

5.根据权利要求1所述的方法，当奖励值最大的策略为多个时，任意采取其中一种选择动作。

6.一种分布式储能系统二次调频控制系统，所述系统包括：

第一初始单元，用于根据电力系统允许频率偏差范围，确定所述电力系统的系统频率状态区间；

第二初始单元，用于确定储能系统的状态区间；

第三初始单元，用于根据所述系统频率状态区间和所述状态区间，建立强化学习矩阵，确定强化学习学习率；

第四初始单元，用于对所述状态区间进行初始化；

计算单元，用于根据所述强化学习矩阵的更新策略，计算下一时刻所有动作的奖励值，采取奖励值最大的策略对应的选择动作；

更新单元，用于利用所述选择动作获取所述强化学习矩阵的某一元素的值，更新所述强化学习矩阵；

控制单元，用于当所述强化学习矩阵满足收敛条件时，将所述强化学习矩阵进行保存；利用所述经过保存的强化学习矩阵，对分布式储能系统二次调频进行控制。

7.根据权利要求6所述的系统，所述强化学习矩阵的收敛条件为：

当所述强化学习矩阵在k次循环中没有变化，即Q_i＝Q_i+1＝Q_i+2＝…＝Q_i+k-1＝Q_i+k，其中Q_i、Q_i+1、Q_i+2、Q_i+k-1、Q_i+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，其中Q_i、Q_i+1、Q_i+2、Q_i+k-1、Q_i+k分别为第i、i+1、i+2、i+k-1、i+k次循环得到的强化学习矩阵，k值根据需要进行设定。