[发明专利]用于时间序列预测的高斯嵌入式神经网络模型及建模方法

说明书

本发明公开了一种用于时间序列预测的高斯嵌入式神经网络模型，该模型包括：一个长短时记忆神经网络层，一个高斯嵌入式模块以及一个反馈通路模块。长短时记忆神经网络层用于在系统的每一次迭代中完成单一样本的时序特征建模，高斯嵌入式模块用于样本不确定性信息，反馈通路模块用于实现网络的迭代优化，提高模型的训练效果。本发明中还公开了上述高斯嵌入式神经网络模型的建模方法。本发明中通过端到端方式将可训练的概率分布插入LSTM作为特征表示，在此基础上实现了自适应的统计特征学习，与现有技术相比有更好的预测效果，能获得全局性更优、泛化性能更好的建模结果。

技术领域

本发明属于神经网络模型设计技术领域，特别涉及一种高斯嵌入式神经网络模型及其建模方法。

背景技术

时间序列中不确定性与深度学习特别是LSTM的结合正成为研究的热点。不确定性分为模型不确定性和数据不确定性。在模型不确定性建模中，贝叶斯递归神经网络和蒙特卡罗剪枝得到了很好的结果，增强了模型的解释。至于数据不确定性，噪声不确定性和分位数回归(QR)引起了一些关注。关于噪声不确定性，相关研究有一个高斯分布假设，均值为零，方差为同方差或异方差。关于QR，模型将LSTM的优点与参数QR相结合，不仅捕捉了时间序列中的波动性，而且还捕捉了时间依赖性。然而，数据不确定性中的概率特征建模与LSTM的结合很少被考虑。在概率特征描述方面，通常采用直方图、协方差和高斯概率分布。直方图通过离散逼近描述概率密度函数，但直方图的维数呈指数增长，距离测量困难。协方差矩阵实际上描述了具有不同协方差矩阵的高斯概率密度函数。协方差矩阵的维数低于直方图。然而，协方差矩阵是不完全参数化的多元高斯模型，不包括均值向量参数。高斯概率分布描述符统一均值向量和协方差来建立一个完全参数化的多元高斯模型，证明了多元高斯模型获得了更多有用的信息，并且对波动具有更强的鲁棒性。为了进一步提升时间序列的预测效果，有必要提出革新的算法将高斯概率分布为核心的概率特征建模与LSTM巧妙融合，以得到具有良好全局性和泛化效果的模型。

发明内容

本发明针对上述现有技术中对时间序列预测缺乏概率信息考量的问题，本发明提出一种用于时间序列预测的高斯嵌入式神经网络模型及其建模方法，通过端到端方式将可训练的概率分布插入LSTM作为特征表示，在此基础上实现了自适应的统计特征学习，从而可以更好的预测效果，能获得全局性更优、泛化性能更好的建模结果。

为了解决上述技术问题，本发明提出的一种用于时间序列预测的高斯嵌入式神经网络模型，包括一个长短时记忆神经网络层、一个高斯嵌入式模块以及一个反馈通路模块；所述的长短时记忆神经网络层用于在系统的每一次迭代中完成单一样本的时序特征建模；模型训练过程中，所述的长短时记忆神经网络层接收原始样本的输入提取时序特征并生成高斯嵌入式模块所需的输入；所述高斯嵌入式模块用于样本不确定性信息的概率建模以及距离度量的优化，其中样本不确定性信息是指样本一阶和二阶统计信息；所述的高斯嵌入式模块接收所述的长短时记忆神经网络层的输出，所得结果输出到所述的反馈通路模块；所述反馈通路模块用于实现网络的迭代优化，所述高斯嵌入式模块的输出经过反馈通路模块的密集层处理后得到的输出与原始样本的真实值做对比，通过反向传播方式优化各级权值，并将反馈结果输出至所述长短时记忆神经网络层的输入。

本发明所述的高斯嵌入式神经网络模型的建模方法，包括以下步骤：

步骤1、数据预处理：按照相同间隔的时间记录所有数据点，首先取一段时间0至t个间隔的点作为一个样本，t+1处作为预测，依次类推，得到1至t+1，2至t+2，3至t+3，……，M-t至M时间段内的数据点，M代表数据点个数，确定样本后，对样本数值进行归一化操作，归一化用最大最小归一化：

式中，nx_i表示归一化后的t时刻的特征向量，x_i是时间i至i+t的数据点构成的样本，i＝0,1,…,M-t，x_min表示最小样本值构成的向量，x_max表示最大样本值构成的向量；