[发明专利]一种基于DQN算法的能源互联网优化策略方法

权利要求书

1.一种基于DQN算法的能源互联网优化策略方法，其特征在于包括如下步骤：

步骤1：以考虑惩罚函数的能源互联网运营成本最低为目标，建立目标函数；

步骤2：将能源互联网模型构建为MDP，设置迭代次数i，离散时间间隙t，输入t时刻的状态变量，s_t{WT(t)，PV(t)，DG(t),CHP(t),LOAD(t),BES(t),π(t),σ(t),μ(t)}；

步骤3：actor网络输出动作变量a_t；

步骤4：计算回报值r(a_t|s_t)到达下一状态S_t+1；

步骤5：得到序列轨迹{S₁,a₁,r₁,S′₁,S₂,a₂,r₂,S′₂…S_t,a_t,r_t,S′_t}；形成经验池experience pool；并将这些轨迹存储到经验池中，随机抽出数据进行下次迭代；

步骤6：观察是否迭代完所有变量，即t＝T？

步骤7：将S_t状态变量输入到critic网络中，得到输出期望V(s)；

步骤8：计算计及折扣因子的未来回报值R_t＝r(a_t|s_t)+γV(S_t+1)；

步骤9：构造损失函数A＝[R(t)-V(S)]²；

步骤10：利用神经网络反向传播更新网络参数；

步骤11：将S′_t状态变量输入到参数为θ的actor神经网络中，利用ε-greedy求出网络采取a_t的动作概率P_θ(S_t,a_t)；

步骤12：同理，计算参数为θ_a的actor网络采取a_t动作的概率P_θa＝(S_t,a_t)；

步骤13：计算损失函数f_loss＝min(A·P_θ,A·P_θa)；

步骤14：由损失函数迭代更新神经网络参数；

步骤15：查看结果是否收敛到最小回报值，若是，则结束，若不是，则返回继续迭代。

2.根据权利要求1所述的一种基于DQN算法的能源互联网优化策略方法，其特征在于：设计应用actor-critic网络体系结构；其中，神经网络critic估计的价值函数V(s)，其参数为θ_c；两个参数分别为θ和θ_a的神经网络actor用来提出控制策略；其中actor-critic网络都是由卷积神经网络CNN构造而成，CNN用于提取EI网络观测序列的特征。