[发明专利]一种考虑源荷不确定性下微电网能量调度的深度强化学习方法

说明书

一种考虑源荷不确定性下微电网能量调度的深度强化学习方法，在微电网优化运行问题的基础上建立相应的马尔可夫决策模型；针对模型环境中光伏和负荷的随机特性，利用长短期记忆(LSTM)神经网络对其状态转移的不确定性进行建模、学习历史光伏和负荷时序数据特征，得到有效的预测模型；基于LSTM神经网络和深度确定性策略梯度算法(DDPG)构建微电网能量优化求解框架，并经过模型训练得到最优能量调度策略网络。本发明有效避免了连续调度动作离散化对调度策略的影响，可以对微电网做出实时的调度策略，能够有效应对随机变量的影响，提升了微电网运行的经济性。

技术领域

本发明涉及一种考虑源荷不确定性下微电网能量调度的深度强化学习方法。

背景技术

微电网作为电网中重要组成部分，可极大提高分布式可再生能源渗透率。然而，由于可再生能源以及负荷需求的随机性使得微电网能量调度问题变得愈加复杂。

目前，针对微电网的能量调度方法的研究方法有线性优化算法、启发式算法、鲁棒优化算法等，然而当实际场景存在高不确定性时，上述优化算法难以适用，会带来算法收敛慢、计算精度低、规划结果过于保守等问题。随着深度强化学习技术的快速发展，因其适用于解决序贯决策问题而成为研究者的关注热点，微电网能量调度问题作为一种时序控制问题，较为契合强化学习框架，因而深度强化学习在电力能量管理领域得到广泛应用。但是现有研究通常将连续型决策变量离散化，从而会带来调度结果不精确、经济性差等问题。虽然深度确定性策略梯度(deep deterministic policy gradient,DDPG)算法较深度Q学习(deep Q network,DQN)算法和双深度Q学习(double deep Q network,DDQN)算法对环境有更强的探索能力，学习得到的能量调度策略更优。但所涉及的研究并未对模型环境中不确定性因素进行建模，会导致模型收敛效果差，所得策略相对保守。

发明内容

为了克服现有以上不足，本发明提出一种考虑源荷不确定性下基于长短期记忆(long short-term memory,LSTM)神经网络和DDPG算法的微电网能量调度方法，微电网以并网模式运行的基本结构如图1所示。首先，针对微电网优化运行问题建立相应的马尔可夫决策模型，该模型以调度周期内微电网运行的经济性为目标来寻求最优能量调度策略。针对模型环境中光伏和负荷的随机特性，利用LSTM神经网络对其状态转移的不确定性进行建模。基于LSTM神经网络对历史光伏和负荷时序数据特征学习，进而得到有效的预测模型。然后，基于LSTM-DDPG方法构建微电网能量优化求解框架，并经过模型训练得到最优能量调度策略网络。最后，通过算例仿真验证了本发明所提方法的有效性。

为了实现上述目的，本发明的技术方案为：

一种考虑源荷不确定性下微电网能量调度的深度强化学习方法，包括以下步骤：

S1：建立微电网优化调度模型，在满足负荷需求以及微电网安全运行的前提下，通过对微电网能量优化管理，实现微电网运行成本最小化的目标；

S2：提出基于深度强化学习的能量管理办法，针对微电网优化运行问题建立相应的马尔可夫决策模型；

S3：利用LSTM神经网络得到光伏、负荷数据的有效预测模型，并且基于LSTM-DDPG方法构建微电网能量优化求解框架，得到最优能量调度策略；

S4：通过算例仿真验证方法的有效性，能有效应对随机变量的影响，提升微电网运行的经济性。

进一步，所述步骤S1中，微电网优化调度模型包括以下构成：

S1-1：构建最小化成本的目标函数模型，考虑三个成本因素，分别是微电网的购电成本C_g、储能设备的折旧成本C_pv和光伏发电设备的运维成本C_b，模型可表示如下：