[发明专利]一种基于DQN算法的能源互联网优化策略方法

说明书

一种能源互联网优化策略方法，所述能源互联网包括电网单元、气网单元和分布式冷热电系统嵌入式能量互联网单元，所述方法包括：在保证系统运营成本最小的前提下，通过协调优化能源互联网，可以进一步挖掘可再生能源利用率，进行网络优化配置，使其具有快速动态优化的目的以及自学习能力，基于最优输出动作，可以制定能源互联网优化策略，尽可能的减少网络的冗余度，减小系统运营成本。在设定的控制策略下，约束条件包括负载供需平衡约束、发电、输出功率平衡约束、储能元件充放电限制约束和与外电网交互耗能平衡约束，采用DQN算法，该方法使用马尔科夫决策来确定最佳序列，并结合卷积神经网络逐步获得回报值最小的目标集。

技术领域

本发明涉及一种基于能源互联网的优化策略方法，尤其是涉及一种基于DQN算法的能源互联网优化策略方法。

背景技术

目前，能源系统因发电困难，其预测准确度在很大程度上取决于外部环境条件。另一方面，能源互联网视为解决传统电力系统面临挑战的有效手段，但是当能源互联网中广泛的使用了分布式能源系统，则很难实现能源互联网中能量供需平衡的可靠性管理。

值得注意的是，电力系统中的大多数优化问题都是基于各种电气设备的明确数学模型来解决的。例如，常微分方程用于表示光伏发电、风力发电的动态功率，而随机微分方程用于表示能源互联网中负载的动态功率。尽管随机微分方程可以反映能源互联网系统的随机特性，但很难获得其准确的数学模型。为了表示长时间能源互联网的能量优化问题，需建立带有复杂微分方程的数学模型，在某种程度上对其优化是非常受限制的。

发明内容

本发明的目的是提出一种基于DQN算法的能源互联网优化策略方法，是在保证系统运营成本最小的前提下，通过协调优化能源互联网，可以进一步挖掘可再生能源利用率，进行网络优化配置，使其具有快速动态优化的目的以及自学习能力，基于最优输出动作，可以制定能源互联网优化策略，尽可能的减少网络的冗余度，减小系统运营成本。

为了解决现有技术存在的问题，本发明采用的技术方案如下：

一种基于DQN算法的能源互联网优化策略方法，包括如下步骤：

步骤1：以考虑惩罚函数的能源互联网运营成本最低为目标，建立目标函数；

步骤2：将能源互联网模型构建为MDP(马尔可夫决策过程)，设置迭代次数i，离散时间间隙t。输入t时刻的状态变量，s_t{WT(t)，PV(t)，DG(t),CHP(t),LOAD(t),BES(t),π(t),σ(t),μ(t)}；

步骤3：actor网络输出动作变量a_t；

步骤4：计算回报值r(a_t|s_t)到达下一状态S_t+1；

步骤5：得到序列轨迹{S₁,a₁,r₁,S′₁,S₂,a₂,r₂,S′₂…S_t,a_t,r_t,S′_t}；

步骤6：形成经验池experience pool。并将这些轨迹存储到经验池中，随机抽出数据进行下次迭代；

步骤7：观察是否迭代完所有变量，即t＝T？

步骤8：将S_t状态变量输入到critic网络中，得到输出期望V(s)；

步骤9：构造函数A＝[R(t)-V(S)]²；

步骤10：利用神经网络反向传播更新网络参数；