[发明专利]一种基于深度强化学习的动态电力系统经济调度方法

说明书

本发明提供了一种基于深度强化学习的动态电力系统经济调度方法，将动态经济调度转化为多阶段序贯决策模型，本发明将进行动作决策的调度中心作为决策主体，实际电力系统作为环境，通过对强化学习中动作、状态、奖励等元素的设计，将电力系统的经济调度模型转化为典型的多阶段序贯决策模型。该模型避免了对日益复杂的电力系统进行建模，且不要求精确的火电机组出力成本函数，通过智能体与环境的不断交互，更新策略，自适应负荷与新能源出力的不确定性，实现任意场景下的电力系统动态经济调度。

技术领域

本发明属于电力系统领域，涉及一种基于深度强化学习的动态电力系统经济调度方法。

背景技术

随着电力改革的深化，电能的生产与消费将由时刻改变的市场需求决定，负荷波动的不确定性增强，更加难以准确预测。新能源出力具有波动性、间歇性及随机性等特点，它们的大规模并网给电网运行增加了多种不确定因素。负荷与新能源出力的不确定性给电力系统的安全性和可靠性带来了更严峻的问题，也给电网经济调度带来了巨大挑战。

经济调度是电力系统中的一个经典优化问题，它以降低全系统的发电燃料成本为目标，在满足基本运行约束和系统功率平衡的前提下，通过合理调整不同类型机组的有功出力，确定最优的调度方案。

工业界实际中采用的方式为确定性经济调度，即将负荷预测值、新能源出力预测值视作准确值，进而通过调整传统机组出力实现经济成本最优。然而，随着电网中不确定性因素的增多，传统的确定性经济调度已经不能满足现阶段电力系统调度的需要。近年来，考虑电力系统不确定性因素的不确定性经济调度逐渐成为热点问题。目前常用的不确定性优化建模的方法主要包括随机规划法和鲁棒优化法。

随机规划认为电力系统中不确定量的变化规律遵循一定的概率分布，主要包括场景分析法和机会约束规划。场景分析法是依据新能源的概率分布模型，将其抽样生成大量场景，再分别求解不同场景，最后将各个场景下的方案加权平均，从而得到最终决策方案。机会约束规划则是将包含随机变量的约束条件转化为满足一定置信水平的机会约束的形式，即它并不要求所得结果百分之百满足约束条件，只要在一定置信水平上使约束条件成立即可。虽然场景法可以缓解不确定因素带来的影响，但它不一定能囊括所有场景，且多场景的生成与决策必然带来计算量巨大的问题，同时也难以准确量化加权所得决策方案的风险性。而机会约束规划同样具有依赖于新能源概率模型，计算量大的缺点。

鲁棒优化算法不依赖于随机变量的概率分布信息，计算量相对较小，近年来在计及不确定性的电力系统经济调度问题中得到了广泛应用。鲁棒优化在模型刚建立时就计及了不确定性，即采用集合的形式来表征随机变量的不确定性。同时，根据集合中的极限场景建立鲁棒优化模型，如果所得决策方案能够适应最差的情况，那它也一定可以满足其他所有情况的要求。鲁棒优化问题中不确定集的选择至关重要，这将很大程度上影响到模型的求解效率与决策的保守程度。鲁棒优化虽然不依赖于不确定参数的概率分布，易于刻画，但其保守度的设置也是值得研究的问题。

发明内容

本发明的目的是：在已有的算法无法在电网中存在负荷预测与新能源出力预测不确定性时，快速准确提供调度方案。

一种基于深度强化学习的动态电力系统经济调度方法，其特征在于：

系统调度周期内的经济成本可表示为：

其中，a_i，b_i，c_i为传统火电机组i的成本系数；P_g,i为传统火力发电机i的有功出力；T为调度周期，为24小时；G为系统中的传统火力发电机数量；

根据上述模型，将一天24小时的经济调度分为24个决策周期的马尔可夫过程，在每个决策阶段中，通过观察状态，做出动作决策，并将动作应用于实际电力系统环境中，再得到从环境反馈的奖惩信息与新的状态，重复这一过程，直到整个调度周期结束，决策过程的主要变量包括：