[发明专利]一种基于模块化循环神经网络的电力负荷预测方法

说明书

本发明涉及一种基于模块化循环神经网络的电力负荷预测方法。包括以下步骤：1、构建一个包含输入层、隐藏层和输出层的循环神经网络，并把隐藏层划分为若干个模块；2、通过四种隐藏层模块更新策略和两种循环连接剪枝策略的不同组合，可以构建不同的模块化循环神经网络；3、对获取的电力负荷数据进行Z‑score标准化处理，并将其按照时间顺序划分为训练集，验证集和测试集。利用训练集对模型进行训练，用验证集进行调参，最后在测试集上评估性能。本发明相对于目前广泛应用的门控循环神经网络而言，该框架下的模型能够在有效降低网络训练参数量的同时，实现对电力负荷的精准预测。特别是基于自适应更新策略的模块化循环神经网络的表现最为突出。

技术领域

本发明涉及一种基于模块化循环神经网络的电力负荷预测方法。

背景技术

电力负荷预测对于确保智能电网的安全、稳定和高效运行具有重要作用。从电力生产的角度来看，精准预测有助于制定合理的生产计划，在提供充足电力供应的同时避免过度生产造成的资源浪费。从电力消费的角度来看，精准预测有助于实时电价的合理制定，以鼓励非高峰电力消费。近年来，智能电网中各种高精度数据采集设备(如智能电表)的不断出现，为电力负荷预测提供了强有力的支持。目前用于电力负荷预测的方法通常可以分为两类：基于统计分析的方法和基于数据驱动的方法。虽然基于统计分析的方法已经发展得非常成熟，但由于电力负荷序列的非线性、用户行为的随机性、外部因素的多样性等原因，其精准度仍有待进一步的提高。这使得基于人工智能的数据驱动方法逐渐成为该领域的研究热点。主要模型包括动态神经网络、极限学习机、深度信念网络、卷积神经网络等。然而，上述模型没有将数据的时序关系作为电力负荷的明确特征，当需要考虑当前负荷与历史负荷之间的复杂时间依赖关系时，可能会导致模型预测性能下降。因此，近年来，能够通过隐藏层状态连续传输早期输入信息的循环神经网络(Recurrent Neural Network，RNN)被广泛应用于缺乏外部影响因素情况下的电力负荷预测问题。

由于传统RNN采用随时间反向传播算法进行网络参数训练，随着记忆深度的增加，模型容易出现梯度消失或爆炸的问题。为了改变传统RNN在长序列学习中表现不佳的现状，可采用训练算法替代、循环权重约束、门控机制和多时间尺度连接等改进措施。在训练算法替代方面，研究人员提出了Hessian-Free方法和储备池计算等，但上述方法存在着实施困难或学习能力有限等不足。在循环权重约束方面，研究人员提出在初始化或整个学习过程中约束循环连接权重，以保证矩阵多步连乘后的范数仍约等于1。然而，严格执行权重约束可能会影响模型的训练速度和泛化能力。以长短期记忆网络(Long Short-Term Memory，LSTM)及其变体为代表的门控机制是最常见的一种措施，已成功应用于包括电力负荷预测在内的众多时间序列数据挖掘任务中。但该机制造成了隐藏层复杂的内部结构，其缺点在于需要训练的网络参数急剧增大。最后一种提高RNN长期依赖能力的常用方法是引入多时间尺度连接。其主要思想是隐藏层的循环连接不仅要存在于相邻的时间步长中，还要存在于更大的时间步长中。这样做的好处是长期依赖关系不需要一步一步的反向传播，而是可以用更少的时间步完成。例如：Temporal-Kernel RNN规定每个神经元的循环连接随着跳跃长度的增加呈指数衰减；Skip RNN允许网络根据计算出的更新可能性决定当前时刻是否更新神经元。除了以神经元为单位之外，还可以将隐藏层划分为若干个模块来形成多时间尺度的连接，如Clock-Work RNN。最近，Dilated RNN提出可以堆叠多个隐藏层，并让这些隐藏层在不同的跳跃长度上工作以关注不同的时间依赖。

发明内容

本发明的目的在于提供一种基于模块化循环神经网络的电力负荷预测方法，该方法能够在有效降低网络训练参数量的同时，实现对电力负荷的精准预测。特别是基于自适应更新策略的模块化循环神经网络的表现最为突出。

为实现上述目的，本发明的技术方案是：一种基于模块化循环神经网络的电力负荷预测方法，包括以下步骤：

步骤S1、构建一个包含输入层、隐藏层和输出层的循环神经网络，并把隐藏层划分为若干个模块；