[发明专利]一种基于长短期记忆网络的时间序列缺失值自动填补方法

说明书

本发明公开了一种基于长短期记忆网络的时间序列缺失值自动填补方法，包括以下步骤：获取没有缺失值的原数据集，并进行预处理；按照给定的缺失率随机删除某些值构成含有不同缺失率的缺失数据集；根据深度残差网络与图结构依赖的思想，引入基于图依赖的残差连接到LSTM模型，形成RSU，同时将LSTM模型的每一时刻的隐藏状态和RSU的历史状态信息进行融合与传递；训练构建的新模型，在网络训练前向传播过程中根据数据是否缺失利用RSU的值进行填补。RSU整合了先前的残差和隐藏的状态信息，使得构建的模型能够关联足够多的关于缺失数据历史信息，同时实现了对含缺失值的时序数据可端到端含缺失值训练的过程。

技术领域

本发明涉及时间序列缺失值自动填补的技术领域，特别是涉及一种基于长短期记忆网络可端到端学习含缺失值数据的时间序列缺失值自动填补方法。

背景技术

时间序列是实际应用中最常见的数据形式之一，包括气象，健康和医疗，动作捕捉，金融市场和城市交通管制等。然而，这些实际的时间序列数据不可避免地由于传感器故障而包含缺失值。一般处理缺失值的方法有零填补，均值填补，多项式拟合方法或者EM算法等等对缺失值进行填补。

然而与静态数据填补相比，时间序列填补是一项非常具有挑战性的任务。因为缺失值与其先前的值往往存在非线性和动态的相关性，利用传统的数据填补方法很可能会造成很大的误差。如果数据缺失比例较大，传统方法更难对于在该种情况下的非线性和动态的相关性进行有效的时序建模。

在现有的研究中，Anava等人使用自回归模型来处理在线时间序列的缺失值，他们假设缺失值可以表示为其以前的非缺失值和缺失值的递归自回归形式。类似地，Dhillon等人提出的时序正则化矩阵分解(Temporal Regularized Matrix Factorization,TRMF)模型使用自回归来模拟相应的潜在变量之间的时间依赖性，他们将这种自回归的结构概括为一个图，用于在不同阶段建立缺失值和其先前的非缺失值的依赖关系，但是这依赖于人的先验知识，需要手工设计图的结构。除了上述基于图的方法之外，长短期记忆网络(LongShort-Term Memory,LSTM)也可以用于建立时间的转态转换关系，然而传统的LSTM模型无法处理含有缺失值的时间序列数据，从而不能进行端到端的网络训练。

因此，亟待提出一种面向时间序列缺失值自动填补的可端到端学习的神经网络模型，并期待获得优于传统填补方法的实验效果。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于长短期记忆网络的时间序列缺失值自动填补方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于长短期记忆网络的时间序列缺失值自动填补方法，所述的时间序列缺失值填补方法包括下列步骤：

S1、获取时间序列数据集，对数据进行预处理；

S2、对预处理后的数据按照给定的缺失率随机删除某些值构成含有不同缺失率的数据集；

S3、将基于图依赖的残差连接引入到LSTM模型，形成RSU，同时将LSTM模型的每一时刻的隐藏状态和RSU的历史状态信息进行融合；

S4、训练步骤S3中构建的LSTM模型，在网络训练的前向传播过程中，如果下一个时刻输入值已知，则训练输出的RSU值乘以一个权值矩阵去近似下一时刻输入值；如果下一个时刻输入值缺失，将当前的RSU值乘以相同的权值矩阵去填补该缺失值；在网络训练的反向传播过程中，如果当前时刻的目标值缺失，该时刻的损失不加入到网络总的损失函数中去；

S5、基于训练后的LSTM模型对含缺失值的时序数据进行填补形成完整数据集。

进一步地，所述的时间序列缺失值填补方法还包括有效性检验步骤，过程如下：