[发明专利]一种基于长短期记忆网络的时间序列缺失值自动填补方法

权利要求书

1.一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，应用于含缺失值的气象、交通流在内的时空数据的填补，所述的时间序列缺失值填补方法包括下列步骤：

S1、获取气象数据或交通流的时间序列数据集，对数据进行预处理；

S2、对预处理后的数据按照给定的缺失率随机删除某些值构成含有不同缺失率的数据集；

S3、将基于图依赖的残差连接引入到LSTM模型，形成残差和单元，以下残差和单元简称RSU，同时将LSTM模型的每一时刻的隐藏状态和RSU的历史状态信息进行融合，融合过程如下：

其中，g和f是恒等映射函数，h_t定义为t时刻LSTM模型单元输出的隐藏值，r_t定义为t时刻残差和单元RSU的值，f(h_t+g(W_rr_t-1))定义为t时刻LSTM模型的隐藏状态和RSU的历史状态信息进行融合的过程，是参数矩阵，是引入基于图依赖的残差连接；

S4、训练步骤S3中构建的LSTM模型，在网络训练的前向传播过程中，如果下一个时刻输入值已知，则训练输出的RSU值乘以一个权值矩阵去近似下一时刻输入值；如果下一个时刻输入值缺失，将当前的RSU值乘以相同的权值矩阵去填补该缺失值；在网络训练的反向传播过程中，如果当前时刻的目标值缺失，该时刻的损失不加入到网络总的损失函数中去；

S5、基于训练后的LSTM模型对含缺失值的交通流量时序数据进行填补形成完整数据集。

2.根据权利要求1所述的一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，所述的时间序列缺失值填补方法还包括有效性检验步骤，过程如下：

计算原真实数据集和填补后数据之间的均方根误差RMSE，并且和传统的数据填补方法进行结果的比较，以此检验LSTM模型的有效性。

3.根据权利要求1所述的一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，所述的步骤S4中的训练过程如下：

S401、网络训练前向传播过程分为两种情况：近似过程和填补过程，如果下一个时刻输入值x_t已知，则训练残差和单元RSU输出的值r_t-1乘以一个权值矩阵W_imp得到的z_t-1近似下一个时刻输入值x_t；如果下一个输入值x_t是缺失值，则用z_t-1填补x_t，其中z_t-1定义如下公式：

z_t-1＝W_impr_t-1

并且根据当前的输入是否为缺失值，用一个统一的形式u_t来表示当前的输入值：

其中，和分别表示逐元素的乘法和加法，I{x_t}表示指示函数，返回一个n维二进制向量表示当前输入值x_t的缺失属性情况，因此，如果x_t已知，则x_t正常作为网络的输入值；如果x_t是缺失值，则将z_t-1作为网络的输入值；

S402、根据上述的定义，LSTM模型的前向传播过程隐藏状态h_t的更新公式为：

i_t＝σ(W_i[h_t-1,u_t]+b_i)

f_t＝σ(W_f[h_t-1,u_t]+b_f)

o_t＝σ(W_o[h_t-1,u_t]+b_o)

其中，W_i,W_f,W_o,W_c,b_i,b_f,b_o,b_c代表可学习参数，i_t,f_t,o_t,c_t分别代表在t时刻输入门、遗忘门、输出门、当前新知识与当前记忆的数值，σ(·)和tanh(·)分别代表sigmoid和双曲函数；

S403、在网络训练的反向传播过程中，定义时刻t损失函数的计算方式如下：

其中I{x_t}表示指示函数,t＝2,3,...,T，该函数表示如果当前时刻的目标值缺失，则不计算该时刻的损失，从而使得反向传播过程得以正常进行；

S404、如果定义上标k表示时间序列集合的第k个样本，k＝1,2,3,...,T，则整体训练损失函数计算方式如下：

其中d^(k)表示第k个样本值,的第二项表示任务相关的损失函数，的最后一项的表示正则项；

S405、根据上述定义的损失函数，利用BPTT算法来最小化损失函数，以达到最优化网络参数。

4.根据权利要求2所述的一种基于长短期记忆网络的时间序列缺失值自动填补方法，其特征在于，所述的均方根误差RMSE的计算方式为

其中，n代表缺失值的数量，和分别代表第i个缺失值相对应的真实值和填补值。