[发明专利]基于深度Q网络的区域电网运行点调度优化方法

权利要求书

1.一种基于深度Q网络的区域电网运行点调度优化方法，其特征在于，其包括以下步骤：

确定区域电网运行点调度中心的调度架构；

将区域电网运行点调度动态决策过程建模为相应的马尔科夫动态决策过程模型，该模型包含状态、行动、代价及优化目标函数；

利用深度Q网络对所述马尔科夫动态决策过程模型进行策略求解，获得优化策略；

其中，所述区域电网运行点至少包括下一个调度时段的常规火电机组出力、风电机组出力以及柔性负荷削减量；

所述调度架构至少包括N_G个常规火电机组、N_W个风电机组和N_F个DLC柔性负荷代理；

所述区域电网运行点的调度至少包括依据风电、负荷功率超短期预测信息和当前时段运行点信息，动态确定下一调度时段的电网运行点；

建立所述马尔科夫动态决策过程模型，包括以下步骤：

将一天的时间等分为K+1个调度时段，采用等周期决策，决策时刻为调度时段k的起始时刻t_k，其中k∈{0,1,…K}，则所述区域电网运行点调度中心在一天开始前从系统读取当天各时段风电机组j的风电出力短期预测信息为P_Wjk、负荷功率短期预测信息为P_Lk、日前调度计划确定的火电机组启停为μ_ik及出力为P_Gik、柔性负荷代理l的最大可调度容量为P_Dlkmax；

在所述决策时刻t_k，所述区域电网运行点调度中心获取紧邻两个调度时段的风电出力超短期预测数据为和负荷功率超短期预测数据为组成系统在k时段的状态

定义所述决策时刻t_k系统的行动为调度时段k内各火电机组相对日前计划的出力调整量ΔP_Gik、风电机组弃风量以及柔性负荷削减量P_Dlk，将ΔP_Gik、以及P_Dlk分别离散为一系列固定值，则ΔP_Gik、和P_Dlk所取固定值的任一组合对应一种行动，即

定义所述区域电网在一个决策周期产生的运行代价c_k，由决策周期对应调度时段k内火电机组出力调整代价柔性负荷补偿代价弃风补偿代价和未满足约束条件的惩罚代价组成，则运行代价c_k表征为：

定义区域电网运行点调度在初始状态为s的有限时段优化性能准则函数为V^π(s)：

其中，π为优化策略，为系统状态s_k到行动a_k的映射，E为期望；优化性能准则函数V^π(s)即是在策略π下的期望；利用深度Q网络进行策略求解以获得优化策略，包括以下步骤：

构造深度Q网络，包括当前值网络和目标值网络，初始化当前值网络权重参数θ_z、目标值网络权重参数令输入序列宽度W、经验池容量D、批训练样本数B、学习因子α、贪心概率ε、折扣因子γ，定义任意一个样本轨道为m，样本轨道总数为M，令m＝0；

令k＝0，随机初始化系统状态s_k；

构造深度Q网络的输入序列由当前状态s_k和记录的前W个决策时刻的状态、动作组成，当k＜W时，当k≥W时，将序列输入到当前值网络，当前值网络的输出用来评估当前状态与行动对应的值函数，选取最小Q值对应的行动a^greedy，同时，随机选取有效行动a^rand，采用ε-贪心策略选取行动a_k，若ε＜rand(0,1)成立，则将a^greedy赋值给a_k，否则将a^rand赋值给a_k，逐渐减小ε的取值；

所述区域电网运行点调度中心执行决策时刻t_k的行动a_k，并观察决策周期内产生的运行代价c_k，经过一个决策周期后，观察下一决策时刻的状态s_k+1并构造输入序列将一条学习样本存储到经验池，判断经验池样本数是否大于经验池容量D，若是，则移除记忆最久远的一条样本；

判断经验池内学习样本数是否大于批训练样本数B，若是，则从经验池中随机抽取B条学习样本对当前值网络进行批训练，并判断k与K的大小，即，若k＜K，令k＝k+1，返回至构造深度Q网络的输入序列的步骤；若k＝K，令m＝m+1；

若m＜M，返回至随机初始化系统状态s_k的步骤；否则结束循环，完成当前值网络的参数训练，得到最优策略