[发明专利]基于回声状态网络的多维时间序列缺失补全方法

说明书

本发明涉及一种基于回声状态网络的多维时间序列缺失补全方法，包括：步骤S1：构建回声状态网络模型；步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补;步骤S3:分别构建具有双向反馈的前向或双向回声状态网络，并更新所有时刻的内部状态；步骤S4:根据无需预补时刻的输入、内部状态和真实输出训练出网络的输出权重；步骤S5:根据需要预补时刻的输入、内部状态和步骤S4得到的输出权重计算输出估计值，并用于对预补值进行更新；步骤S6:重复步骤S3‑S5，用最后的预补值填补原始序列的缺失值。本发明考虑更加全面的数据相关性来提升多维时间序列的补全精度。

技术领域

本发明涉及数据补全领域，具体涉及一种基于回声状态网络的多维时间序列缺失补全方法。

背景技术

随着物联网的不断普及，数十亿来自环境、建筑和智能设备的嵌入式传感器产生了大量的时间序列数据，为人类生活中的各种应用提供了强大的支持。然而，各种意外事故不可避免地会导致数据丢失，从而影响下游应用的决策能力。因此，对缺失值进行估计以提高数据质量往往是各种应用在数据预处理阶段中非常重要的一环。

缺失数据估计指的是使用统计或机器学习技术在缺失位置填充估计值的过程。根据考虑的数据相关性的不同，常用的方法大致可分为以下四类：插值法、归算法、基于矩阵的填充和基于深度学习的方法。第一类方法称为插值法，它利用时间序列中观测值之间的时间相关性来估计缺失值，最常见的有线性插值、三次样条插值、模糊插值和谱方法等。插值法的缺点是没有充分考虑影响时间序列的外生变量的跨域相关性。第二类方法称为归算法，它考虑了外生变量与观测值之间的相关性，并通过拟合两者的关系来生成估计值。常用的方法包括：基于距离的归算(K近邻或模糊聚类)，基于决策的归算(回归树或随机森林)，非线性归算(人工神经网络或支持向量机回归)，期望最大化归算和多重归算等。考虑到许多应用场景中的数据往往同时具有时间和跨域相关性，上述两种方法都存在丢失一些重要信息的风险。第三类方法是基于矩阵的填充，如低秩矩阵补全，矩阵分解等。此类方法把外生变量和观测值随时间变化的过程存储为一个矩阵再进行缺失值的填充。虽然此类方法可以充分利用矩阵中已有数据之间的相关性，但它需要满足一些很强的假设(如低秩性，时间平衡性，空间稳定性等)，而且它将时序数据视为静态数据，忽略了数据的时间成分。第四类方法则是基于目前流行的深度学习技术。其中擅长捕捉时序依赖关系的循环神经网络(Recurrent Neural Network，RNN)尤为受到关注。但是，目前在缺失数据补全领域所采用的RNN架构都是基于门控机制的，如长短期记忆网络(Long Short Term Memory，LSTM)和门控循环单元(Gated Recurrent Unit，GRU)。门的引入虽然可以缓解随时间反向传播(BackPropagation through Time,BPTT)的权重更新算法造成的梯度消失问题，但对训练数据量和计算成本都有很高的要求。这显然不适合具有大量缺失数据或实时性要求较高的应用。

发明内容

有鉴于此，本发明的目的在于提供一种基于回声状态网络的多维时间序列缺失补全方法，基于全面的数据相关性来提升多维时间序列的补全精度。

为实现上述目的，本发明采用如下技术方案：

一种基于回声状态网络的多维时间序列缺失补全方法，包括以下步骤：

步骤S1：构建一个包含输入层、隐藏层和输出层的回声状态网络模型，并初始化；

步骤S2:按照时间顺序，向回声状态网络模型的输入层提供每个时刻的外生变量，向输出层提供对应时刻的多维时间序列的观测值，若缺失的观测值尚未预补，则利用基于方向的最近邻策略进行暂时性预补；

步骤S3:根据使用的储备池个数的不同，分构建具有双向反馈的前向或双向回声状态网络，并利用不同的内部状态更新公式计算所有时刻的内部状态；