[发明专利]一种基于相似性搜索和LSTM神经网络的水位预测方法

说明书

本发明公开一种基于相似性搜索和LSTM神经网络的水位预测方法，根据待预测日前二十日的水位与此前所有历史水位数据进行比较，利用相似性搜索找出与其相近的一系列时间序列，将其作为训练集采用LSTM网络进行预测。该方法主要包括：数据预处理，旨在查补原始数据中的缺失及错误；水文时间序列快速相似搜索，在离线过程使用滑动窗口方法划分原始时间序列，再通过改进Chameleon聚类方法、最小距离方差法和学习过滤选择法选择合适的索引参考集，最后基于约束DTW距离对原始时间序列的每个位置进行嵌入索引计算形成最终的索引空间。本发明能够提前预测水位，为防洪抗灾工作提供有效的技术支持。

技术领域

本发明涉及一种基于相似性搜索和LSTM神经网络预测水位技术，具体涉及对水位信息进行相似性搜索有效降低训练集的冗余以及利用LSTM神经网络进行预测的技术。

背景技术

近年来，我国水文行业从传统水文向现代水文迈进，自动水文站观测技术快速推广，从人工手动记录水文数据资料记录到当前自动站每几分钟甚至每秒钟一次的数据记录，水文数据资料覆盖愈加全面。这些水文数据拥有数量大、类别杂、时空性、更新快等特点，同时，它们受到季节气候、地貌特征、水文规律等诸多条件影响，隐藏了很多有价值的规律和信息。如何对它们进行有力的分析，从中得到有用的信息从而服务于水文预报、洪水检测等成为人们关注的焦点。传统水文行业普遍根据水文环境和过程建立物理模型再加以人工经验进行预测。

现今常用的水文时间序列预测模型存在一些缺点，基于统计学方法的时间序列预测模型需要基于一些归纳和假想情况进行模拟分析，会有不符合实际情况的可能性；灰色系统理论中，数据愈分散，准确度就愈低；最为常用的神经网络模型，BP网络易陷入局部最优解，单一ELM学习性能不稳定。近年来，深度学习研究在其他领域取得了不俗的成就，同样也可以将其引入水文时间序列预测研究中，结合时间序列相似性研究，对水文时间序列进行预测。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提高预测精度和减少预测用时，提供一种基于相似性搜索和LSTM神经网络的水位预测方法。

技术方案：本发明的一种基于相似性搜索和LSTM神经网络的水位预测方法，所述方法包括如下步骤：

(1)获取待预测日前二十日及此前历史水位数据，并对数据预处理；

(2)依据水文时间序列快速相似性搜索方法对已处理数据进行相似性搜索，得到K条与待搜索序列相似的序列组成训练集；

(3)构建基于LSTM的神经网络模型，将相似性搜索结果作为训练集，通过网络模型进行训练预测。

步骤(1)中数据预处理方法包括：填补缺失数据、修正错误数据、平滑数据、标准化数据；缺失数据填补方法缺失值计算方法如下：缺失数据为单值时，采用均值插补法，其中x_miss为缺失值，miss为缺失值在数据中所处位置的下标，公式如下：

x_miss＝(x_miss-1+x_miss+1)/2， (公式1)

缺失数据为连续多值时采用线性插补法，其中x_exist和x_exist+m为已知值，两者中间缺失m个数据，缺失值x_miss(exist＜miss＜exist+m)公式如下：

错误数据修正方法依据拉依达准则，确定数据集X,数值分布在(μ-3σ,μ+3σ) 中的概率为0.9973，μ为X的均值，σ为X的标准差，不在此范围内的数据被识别为错误数据,将其删除。

平滑数据为消除数据随机波动和错误点产生的干扰，对给定数据进行数据平滑操作。采用部分数据的加权和作为参考进行平滑处理，公式如下：