[发明专利]一种基于最大熵离线式的能源存储与负载的优化方法

权利要求书

1.一种基于最大熵离线式的能源存储与负载的优化方法，其特征在于，用于对能源系统的能源调度方法进行优化，所述优化方法包括以下步骤：

S1、创建行动者神经网络和评论家神经网络，并初始化行动者网络参数和评论家网络参数；

S2、通过行动者神经网络对能源系统的系统状态信息进行训练，得到能源调度方法，并通过能源系统运行该能源调度方法，得到运行反馈信息；

S3、通过评论家神经网络对所述运行反馈信息和能源调度方法进行训练，得到评估信息；

S4、在熵约束参数的约束下，根据评估信息对所述行动者网络参数、评论家网络参数以及存储-能效约束参数进行优化；基于优化后的行动者网络参数和评论家网络参数重复执行S2至S4，直至得到的能源调度方法满足优化目标。

2.如权利要求1所述的优化方法，其特征在于，所述优化目标为优化表达式的极值点，所述优化表达式如下式：

式中，λ为存储-能效约束参数，θ为行动者网络参数，υ为评论家网络参数，π为能源调度方法，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的用户负荷的满意程度的估计值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源损耗及运行成本的估计值，α_C为能源系统的能源损耗阈值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源存储量的估计值，α_E为能源系统的能源存储量阈值。

3.如权利要求2所述的优化方法，其特征在于，所述存储-能效约束参数与能源系统的存储能力和能源效率相关，所述存储-能效约束参数λ的优化公式如下：

式中，λ为存储-能效约束参数，η₁为存储-能效约束参数λ的学习率，为存储-能效约束参数λ的梯度，由式(1)得到：

式中，为存储-能效约束参数λ的梯度，E为期望值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源损耗及运行成本的估计值，α_C为能源系统的能源损耗阈值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源存储量的估计值，α_E为能源系统的能源存储量阈值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的用户负荷的满意程度的估计值。

4.如权利要求3所述的优化方法，其特征在于，所述行动者网络参数θ的优化公式如下：

式中，θ为行动者网络参数，η₂为行动者网络参数θ的学习率，为行动者网络参数θ的梯度，由式(1)得到：

式中，为行动者网络参数θ的梯度，E为期望值，为与行动者网络参数θ相对应的能源调度方法π的梯度，λ为存储-能效约束参数，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的用户负荷的满意程度的估计值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源损耗及运行成本的估计值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源存储量的估计值，为熵约束参数，通过下式得到：

式中，为熵约束参数，π(a|s)表示在能源系统s及能源调度方法π下选择能源调度方案a的概率。

5.如权利要求4所述的优化方法，其特征在于，所述评论家网络参数υ的优化公式如下：

式中，υ为评论家网络参数，η₃为评论家网络参数υ的学习率，为评论家网络参数υ的梯度，由式(1)得到：

式中，为评论家网络参数υ的梯度，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的用户负荷的满意程度的估计值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源损耗及运行成本的估计值，为评论家神经网络基于行动者网络参数θ和评论家网络参数υ对在能源调度方法π下的能源存储量的估计值。