[发明专利]一种基于Transformer序列到序列模型的径流预测方法

说明书

本发明公开了一种基于Transformer序列到序列模型的径流预测方法，首先准备好数据集，读入数据并进行预处理，得到可用的序列数据；其次将经过预处理的数据集划分成训练集、验证集、测试集三个互斥的子集；然后构建Transformer序列到序列模型；接着定义损失函数和优化器，并训练模型；最后对训练完成的模型进行测试。数据集上的实验结果表明，相对于已有的基于数据驱动的序列到序列模型比较，本发明获得的径流预测结果具有较高的预测精度。

技术领域

本发明属于机器学习技术领域，具体涉及一种径流预测方法。

背景技术

降雨-径流建模是水文科学中非常重要的一项任务，它利用降雨量等气象数据和静态属性来预测径流值，由于流域水文特征、流域边界条件、人类活动、降雨的时空分布等复杂因素的影响，导致了异常复杂的水文过程。径流预测模型有许多方法，主要可以分为包括物理模型和数据驱动模型，物理模型基于实际的物理过程但受限于简化的假设，难以模拟非线性的水文过程。近年来，基于数据驱动的径流预测方法受到了广泛的关注，特别地，基于长短时记忆网络(LSTM)等改进版循环神经网络(RNN)展现了多步超前预测的良好性能，能够胜任很多序列到序列建模任务。然而，无论何种改进版的循环神经网络都无法从根本上解决梯度消失的问题，从而无法真正捕获与生成长时间序列；此外，由于循环神经网络自身结构具有关于顺序性和时间局部性的偏置假设，因此难以胜任超大规模数据集上的任务。

发明内容

为了克服现有技术的不足，本发明提供了一种基于Transformer序列到序列模型的径流预测方法，首先准备好数据集，读入数据并进行预处理，得到可用的序列数据；其次将经过预处理的数据集划分成训练集、验证集、测试集三个互斥的子集；然后构建Transformer序列到序列模型；接着定义损失函数和优化器，并训练模型；最后对训练完成的模型进行测试。数据集上的实验结果表明，相对于已有的基于数据驱动的序列到序列模型比较，本发明获得的径流预测结果具有较高的预测精度。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：准备数据集并进行预处理；

收集研究流域内的气象数据以及水文站点的径流数据，构成原始数据集；然后对原始数据集进行预处理，预处理过程包括空值处理、数据选择、标准化和数据序列化；

步骤2：将预处理过的数据集划分出训练集、验证集、测试集三个互斥的集合；

步骤3：构建Transformer序列到序列模型；

Transformer序列到序列模型的架构包括：输入变换层、位置编码层、编码器、解码器、输出变换层和输出选择操作，具体步骤如下：

步骤3-1：输入变换层对输入数据的维度进行变换，统一数据维度；

步骤3-2：位置编码层向输入数据注入位置信息；

步骤3-3：编码器由多个编码器层前后串接而成，每个编码器层包含两个子层：多头自注意力和全连接层，每个子层之后都需要接入残差连接和层归一化；

编码器的输入序列为：

(x₁,x₂,…,x_{past_len+pred_len})

其中past_len表示已知的序列长度，pred_len表示预测的序列长度；

步骤3-4：解码器由多个解码器层前后串接而成，每个解码器层包含三个子层：多头自注意力、多头交叉注意力和全连接层，每个子层之后都接入残差连接和层归一化；

解码器的输入序列为：