[发明专利]基于场景和深度强化学习的虚拟电厂经济调度方法

权利要求书

1.一种基于场景和深度强化学习的虚拟电厂经济调度方法，其特征在于，所述方法包括：

S1、建立虚拟电厂经济调度的目标函数及相应约束条件，使电力系统正常运行；

S2、根据设定阈值对历史数据进行分类，分为极端场景的数据和常态场景的数据；

S3、利用生成式对抗网络GAN分别对极端场景的数据和常态场景的数据进行扩充，获取极端场景数据集和常态场景数据集；

S4、利用深度确定性策略梯度算法，分别以极端场景数据集及常态场景数据集作为训练集，对神经网络进行训练，求解目标函数的参数，确定虚拟电厂经济调度策略；

所述S2中，通过夜间用电高峰的平均用电值作为设定阈值，将历史数据与该设定阈值进行对比，超过该设定阈值的历史数据为极端场景数据，否则，作为常态场景数据；

所述S3包括：

S31、生成式对抗网络GAN包括生成网络模型G和辨别网络模型D；

S32、利用极端场景和常态场景的历史真实数据分别对生成式对抗网络GAN进行训练，获取极端场景数据生成网络模型G和常态场景数据生成网络模型G，训练过程包括：

将历史真实数据和随机噪声输入到生成网络模型G，生成网络模型G用于生成与所述真实数据相同类型的数据；

将极端场景或常态场景的真实数据与生成网络模型G生成的数据同时输入至辨别网络模型D中，辨别网络模型D用于判断生成网络模型G生成的数据是真实数据分布的概率；

通过真实数据与生成的数据的JS散度来更新辨别网络模型D，通过辨别网络模型D的结果来对于生成网络模型G进行训练，直到生成的数据是真实数据分布的概率大过设定值，停止训练；

S33、利用训练好的极端场景数据生成网络模型G和常态场景数据生成网络模型G分别对极端场景的数据和常态场景的数据进行扩充，获取极端场景数据集和常态场景数据集；

所述方法S4中：

S41、根据目标函数确定状态集和动作集，其中动作集中的a为：

a＝π_θ(s)+N

其中，π_θ(s)表示输入状态s时的动作集合的概率分布情况，N表示噪声；

S42、构建深度确定性策略梯度算法中的Critic网络和Actor网络；

S43、设定Critic网络中估计网络的损失函数为：

其中，J(ω)表示训练时的均方误差，Q(s_j，a_j，ω)表示表示(s_j，a_j)时以ω参数的行为值函数，s_j表示状态，a_j表示动作，y_j表示行为值函数的真实值，m表示经验回放池的大小；

设定Actor网络中估计网络的损失梯度为：

Actor网络中的估计网络的损失函数为：

S44、以极端场景数据集或常态场景数据集作为训练集，训练Critic网络中的估计网络和Actor网络中的估计网络，并根据Critic网络中的估计网络的损失函数、Actor网络中的估计网络的损失梯度及其损失函数，对Critic网络中的估计网络和Actor网络中的估计网络的参数进行更新：

ω′←τω+(1-τ)ω′

θ′←τθ+(1-τ)θ′

其中，ω′表示Critic网络中的目标网络的参数；

θ′表示Actor网络中的目标网络的参数；

ω表示Critic网络中的估计网络的参数；θ表示Actor网络中的估计网络的参数；τ是更新系数。

2.根据权利要求1所述的基于场景和深度强化学习的虚拟电厂经济调度方法，其特征在于，所述约束条件包括功率平衡约束、传统能源出力约束、新能源出力约束、储能容量约束、储能充放电约束和配电网交互约束。

3.根据权利要求2所述的基于场景和深度强化学习的虚拟电厂经济调度方法，其特征在于，所述目标函数为：

T表示时域；/表示传统能源发电机的数量；表示传统能源的成本函数，U_t，E表示储能的成本函数，U_t，p表示与配电交互电力的成本函数，表示在t时刻传统能源发电机i的输出功率；Δp_t表示在t时刻购买或出售配电网络的电力数量；E_t，d和E_t，c分别表示在t时刻能源存储管理系统ESS的放电功率和充电功率；

功率平衡约束为：

其中，表示功率是在t时刻由光伏发电机j输出的，J是光伏发电机的数量；

表示功率是在t时刻由风力涡轮发电机k输出的，K是风力涡轮发电机的数量，P_t，D是用户负载的需求；表示在t时刻台风力涡轮发电机k的输出功率；

传统能源出力约束：

表示传统能源的成本，α，β，γ是正常数成本因子，是传统能源发电机i输出的最小功率，是输出的最大功率；

新能源出力约束：

其中，和分别是光伏发电机j和风力发电机k的额定功率；

储能容量约束：

E_min≤E_t≤E_max，

E_t表示为t时刻储能的状态，E_min和E_max分别表示储能容量的上下限，η_ch表示储能充电因子，η_dis表示储能放电因子；Δt表示时间变化；表示t时刻的储能的充电电量；表示表示t时刻的储能的放电电量；

储能充放电约束：

其中和分别表示为单次充放电的最大值，并且在同一时刻储能只能进行充电或者放电单一操作；

0≤B_c+B_d≤1，

B_c，B_d∈[0，1]，

其中，B_c和B_d分别表示充放电的状态，是一个二进制变量，取值0或1；

配电网交互约束：

U_t，p(Δp_t)＝Δp_t.p_g，

其中和表示与配电网交互电力的上限和下限，p_g表示最低购电价格。