[发明专利]在多个步长间迁移Transformer时空模型的水质污染预测方法

说明书

本发明公开了在多个步长间迁移Transformer时空模型的水质污染预测方法，具体涉及水质污染预测领域，具体包括以下步骤：步骤S1：建立数据集；步骤S2、构建水质污染单步长预测模型：将多步长的预测任务拆分为多个子任务，每个子任务用于预测一个步长的序列数据；在每个子任务中构建Transformer模型；步骤S3、构建水质污染多步长预测模型：使用迁移学习在步骤S2构建好的多个单步长预测模型中加速训练，强化模型泛化能。本发明通过将Transformer模型与迁移学习结合，应用于水质污染数据的预测，取得很好的预测性能；不仅考虑到了多站点间的空间依赖，而且在长期序列预测上提升了预测精度。

技术领域

本发明涉及水质污染预测技术领域，更具体地说，本发明涉及在多个步长间迁移Transformer时空模型的水质污染预测方法。

背景技术

水作为人类生命、医疗保健、工业需求和农业部分的宝贵资源，其相关问题往往收到重点关注。受污染的水不仅是国家发展的障碍，而且会产生许多疾病，如心脏、肾脏疾病和其他慢性疾病。

近年来，由于人类活动频繁、河流环境污染频发、极端天气条件等原因，地表水水质恶化日益严重。提供合理的水质预测和预警，提前保障应急响应能力，防止负面影响大规模分散，对地表水可持续管理至关重要。然而，由于不可预测的污染源、快速变化的环境条件和不充分的历史数据记录等固有的不确定性，预测地表河流系统水质参数的时间序列变化趋势可能是一项艰巨的任务。

传统方法预测水质污染数据常常具有较高的误差，较差的精度。近年来深度学习的方法被广泛应用于水质污染数据的预测，结果大都由于传统的浅层机器学习方法和物理模型。但是现存的深度学习模型在预测水质污染仍存在一些问题：(1)在预测长期序列时精度较低；(2)没有考虑到多站点情况下的空间关联性。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供在多个步长间迁移Transformer时空模型的水质污染预测方法，本发明所要解决的技术问题是：如何解决现有预测水质污染数据时精度较低和多站点情况下的空间无关联性的问题。

为实现上述目的，本发明提供如下技术方案：在多个步长间迁移 Transformer时空模型的水质污染预测方法，具体包括以下步骤：

步骤S1：建立数据集；

S1.1：从同一断面上的多个邻近水质污染监测微站采集连续的污染数据，接着对采集的数据进行清洗和预处理操作；

S1.2：用滑动窗口的方式将步骤S1.1中处理后的数据构建成数据集；

S1.3：步骤S1.2中得到的数据集每个样本中包含24个输入数据，8个输出数据，每个数据由同一时刻的全部站点数据构成；

步骤S2、构建水质污染单步长预测模型：将多步长的预测任务拆分为多个子任务，每个子任务用于预测一个步长的序列数据；在每个子任务中构建 Transformer模型；

步骤S3、构建水质污染多步长预测模型：使用迁移学习在步骤S2构建好的多个单步长预测模型中加速训练，强化模型泛化能；

步骤S4：训练完成后，分别使用每个模型预测对应步长的污染数据，组合在一起后得到多步长结果。

在一个优选的实施方式中，所述步骤S1.1中清洗数据的过程包括剔除不符合常识、经验的数据，并标记为缺失值；对缺失值使用线性插值法。

在一个优选的实施方式中，所述步骤S2中构建的单步长预测模型步骤如下：

S2.1、调整:Transformer模型的超参数：调整超参数N＝2，d_model＝512， h＝4；调整后，模型总参数更少，模型训练时间更短；