[发明专利]一种柔性负荷参与调频的决策方法及装置

权利要求书

1.一种柔性负荷参与调频的决策方法，其特征在于，包括：

将电网当前状态作为父节点，将所述电网当前状态的调频参数输入至策略网络模型中获取控制动作；

将所述父节点进行多次扩展，每次扩展一个叶节点，即每当电网实时状态发生变化时，将所述电网实时状态的所述调频参数输入至策略网络模型中，得到对应的所述控制动作；

将所述叶节点所对应的电网状态输入至价值网络模型中得到所述叶节点对应的评价值；

将所有所述叶节点的所述评价值反馈至所述父节点，更新所述父节点的总体评价值；

将更新的所述总体评价值代入预置第一公式中计算所述电网当前状态的所述控制动作的价值；

将所述电网当前状态对应的所述控制动作的先验概率代入预置第二公式中计算信心上限树算法的结果；

由预置第三公式计算所述价值与所述信心上限树算法的结果之和最大的值，作为所述电网当前状态的第一控制动作；

在所述将所述叶节点所对应的电网状态输入至价值网络模型中得到所述叶节点对应的评价值，之前还包括：

将考虑柔性负荷参与的历史调频参数样本训练所述价值网络模型，得到电网状态与所述控制动作的所述评价值的对应关系。

2.根据权利要求1所述的柔性负荷参与调频的决策方法，其特征在于，在所述将所述父节点进行多次扩展，每次扩展一个叶节点，即每当电网实时状态发生变化时，将所述电网实时状态的所述调频参数输入至策略网络模型中，得到对应的所述控制动作，之前还包括：

将考虑柔性负荷参与的历史调频参数样本训练所述策略网络模型，得到电网状态与所述控制动作的先验概率的对应关系。

3.根据权利要求1所述的柔性负荷参与调频的决策方法，其特征在于，所述预置第一公式具体为：

其中，N(s,a)为电网状态s下选择控制动作a的总次数；Q(s,a)为电网状态s下选择控制动作a的价值；为评价值；l(s,a,i)是0和1分布的布尔函数，当状态-动作对(s,a)在第i次迭代中出现则所述布尔函数取1，若没有出现则取0；n为迭代次数的集合。

4.根据权利要求1所述的柔性负荷参与调频的决策方法，其特征在于，所述预置第二公式具体为：

其中，U(s_t,a)表示信心上限树算法；P(s_t,a)为先验概率，表示电网状态s_t下选择控制动作a的概率；b为任意可选控制动作；为状态s_t被访问的总次数，N_r(s_t,a)为状态s_t下选择动作a的总次数；k为探索因子。

5.根据权利要求1所述的柔性负荷参与调频的决策方法，其特征在于，所述预置第三公式计算具体为：

Q(s_t,a)是状态s_t下选择控制动作a的价值；U(s_t,a)为信心上限树算法，a_t为Q和U之和最大时对应的控制动作。

6.根据权利要求1-5中任一项所述的柔性负荷参与调频的决策方法，其特征在于，电网各状态的所述调频参数包括频率偏差、区域控制偏差、控制性能标准值。