[发明专利]基于深度强化学习的完全分布式智能电网经济调度方法

权利要求书

1.一种基于深度强化学习的完全分布式智能电网经济调度方法，其特征在于，该方法包括以下步骤：

S1：获取完全分布式智能电网的网络拓扑结构数据，建立基于负荷分配和机组组合的经济调度模型；

S2：初始化Q函数表和调度策略，并通过深度强化学习模型获取所述经济调度模型的局部最优解，并将所述局部最优解作为第一Q函数表；

S3：将第一Q函数表载入预训练后的深度卷积神经网络中进行更新，获取第二Q函数表；

S4：根据第二Q函数表，初始化各个机组的功率，将各个机组的功率载入基于一致性原理的机组功率求解模型中，并根据网络拓扑结构数据，获取满足预设的收敛条件的各机组的功率，从而更新第二Q函数表，获取全局最优解；

S5：采用全局最优解进行智能电网经济调度；

所述Q函数表包括状态-动作值函数；

步骤S3中，所述深度卷积神经网络的预训练过程具体为，通过随机梯度下降更新网络参数，从而更新第一Q函数表，直到满足预设的误差条件；所述网络参数的更新表达式为：

式中，ω_t为t时刻的网络参数，ω_t+1为t+1时刻的网络参数，为t时刻的网络参数下的随机梯度下降策略，ξ为深度卷积神经网络的学习率，reward2_t为深度卷积神经网络在t时刻的奖励函数值，γ为折扣因子，Q(S_i,t,P_i,t)为第i个可调单元在t时刻的状态-动作值函数，Q(S_i,t+1,P_i,t+1)为第i个可调单元在t+1时刻的状态-动作值函数；

所述误差条件根据误差函数值设定，所述误差函数值的计算表达式为：

式中，L(ω_t)为t时刻的网络参数下的误差函数值。

2.根据权利要求1所述的一种基于深度强化学习的完全分布式智能电网经济调度方法，其特征在于，步骤S1中，所述基于负荷分配和机组组合的经济调度模型的表达式包括：

目标函数：

约束条件：

P_i,t∈P(S_i,t)

式中，γ为折扣因子，γ^t-1为t-1时刻的累计折扣因子，F_i(·)为经济成本函数，P_i,t为第i个可调单元在t时刻的出力，S_i,t为第i个可调单元在t时刻的状态，P_loss为功率损失，D_t为t时刻不可调的总刚性负荷，N_c为已投入的可调单元的总个数；所述可调单元包括可调单元与柔性负荷单元，所述可调单元出力为正值，所述柔性负荷单元出力为负值；

F_i(·)＝C_i(P_i,t)I_i,t+C_i,SU(t)+C_i,SD(t)

式中，C_i(·)为可调单元运行时的成本函数，I_i,t＝1或0为第i个可调单元在第t时段内处于投入运行或停机状态，C_i,SD(t)为t时刻的停机成本，C_i,SU(t)为t时刻的启动成本，若T_i,D≤X_i,OFF(t)≤T_i,D+T_i,b2c，则t时刻的启动成本C_i,SU(t)为热启动成本C_i,hot；若X_i,OFF(t)≥T_i,D+T_i,b2c，则t时刻的启动成本C_i,SU(t)为冷启动成本C_i,cold，T_i,D为第i个可调单元的最短持续停机时间，X_i,OFF(t)为第i个可调单元在t时刻已经连续处于停机状态的时间，T_i,b2c为第i个可调单元选择停机状态冷却模式的经济性超越停机状态热态模式时的临界时间；

式中，T_i＝max{T_i,U,T_i,D,T_i,b2c}，P_i,0为第i个可调单元的初始出力状态，I_i,0为第i个可调单元的初始运行状态，P_i,t-1为第i个可调单元在t-1时刻的出力。