[发明专利]一种基于Transformer序列到序列模型的径流预测方法

权利要求书

1.一种基于Transformer序列到序列模型的径流预测方法，其特征在于，包括如下步骤：

步骤1：准备数据集并进行预处理；

收集研究流域内的气象数据以及水文站点的径流数据，构成原始数据集；然后对原始数据集进行预处理，预处理过程包括空值处理、数据选择、标准化和数据序列化；

步骤2：将预处理过的数据集划分出训练集、验证集、测试集三个互斥的集合；

步骤3：构建Transformer序列到序列模型；

Transformer序列到序列模型的架构包括：输入变换层、位置编码层、编码器、解码器、输出变换层和输出选择操作，具体步骤如下：

步骤3-1：输入变换层对输入数据的维度进行变换，统一数据维度；

步骤3-2：位置编码层向输入数据注入位置信息；

步骤3-3：编码器由多个编码器层前后串接而成，每个编码器层包含两个子层：多头自注意力和全连接层，每个子层之后都需要接入残差连接和层归一化；

编码器的输入序列为：

(x₁,x₂,…,x_{past_len+pred_len})

其中past_len表示已知的序列长度，pred_len表示预测的序列长度；

步骤3-4：解码器由多个解码器层前后串接而成，每个解码器层包含三个子层：多头自注意力、多头交叉注意力和全连接层，每个子层之后都接入残差连接和层归一化；

解码器的输入序列为：

(y₁,y₂,…,y_{past_len},0₁,0₂,…,0_{pred_len})

其中past_len表示已知的序列长度，pred_len表示预测的序列长度，0₁,0₂,…表示使用0进行填充，一共有pred_len个位置需要填充0；

步骤3-5：多头自注意力和多头交叉注意力；

计算：

Q＝W_QI₁

K＝W_KI₂

V＝W_VI₃

其中，W_Q、W_K、W_V是可学习参数矩阵，softmax表示进行Softmax操作，当输入I₂和I₃相同并且与输入I₁不同时，Attn(Q,K,V)称为交叉注意力；当三个输入I₁，I₂，I₃都相同时，Attn(Q,K,V)称为自注意力；Q表示I₁经过参数为W_Q的线性变换得到的结果，K表示I₂经过参数为W_K的线性变换后得到的结果，V表示I₃经过参数为W_V的线性变换后得到的结果；

多头注意力计算公式如下：

head_i＝Attn(QW_i^Q,KW_i^K,VW_i^V)

MultiHeadAttn(Q,K,V)＝Concat(head₁,…,head_h)W^O

其中，W_i^Q，W_i^K，W_i^V，W^O是可学习参数矩阵，h表示头数，i的取值范围从1到h；head₁,…,head_h表示头；

当输入I₂和I₃相同并且与I₁不同时，MultiHeadAttn(Q,K,V)称为多头交叉注意力；当三个输入I₁，I₂，I₃都相同时，MultiHeadAttn(Q,K,V)称为多头自注意力；

步骤3-6：残差连接计算公式如下：

o＝x+Sublayer(x)

其中，x表示子层的输入，Sublayer(x)表示子层的输出，o表示最终输出；

步骤3-7：层归一化，对最后的输出维度进行标准化；

步骤3-8：输出变换层对解码器的输出维度进行变换，使输出符合最终的输出维度；

将解码器的输出序列(o₁,o₂,…,o_{past_len+pred_len})放入全连接层，得到输出变换层的输出序列

步骤3-9：输出选择操作是对输出变换层的输出序列进行选择的过程，将该序列进行切割，被舍弃掉，只保留的部分作为最终的输出；

步骤4：将训练集的气象数据输入输入变换层得到变换后的数据，再通过位置编码层后，送入编码器处理得到编码器输出；

将训练集的径流数据经过输入变换层得到变换后的数据，再通过位置编码层后，与编码器输出一起送入解码器处理得到解码器输出；然后，输出变换层对解码器输出进行维度变换，使其符合最终输出的维度；最后，通过输出选择操作对输出变换层的输出序列进行选择；

步骤5：定义损失函数和优化器，并训练模型；

训练时的损失函数采取平滑NSE损失函数，其计算公式如下：

其中，N是小批量样本数量，D_n是第n个样本的预测天数，是第d天的预测值，y_d是第d天的径流真实值，S_b是该样本对应站点所有数据径流真实值的标准差，∈表示常数；

模型进行多次迭代训练，在每次迭代完成后，使用测试集数据评估模型的性能，并且使用纳什效率系数NSE作为指标，NSE计算公式如下：

其中，是第n个样本径流真实值的均值；

步骤6：测试模型；

使用测试集对训练完成后的模型进行测试，得到预测结果，并根据真实数据对预测结果进行评估。