[发明专利]用于时间序列预测的高斯嵌入式神经网络模型及建模方法

权利要求书

1.一种用于时间序列预测的高斯嵌入式神经网络模型，包括一个长短时记忆神经网络层和一个反馈通路模块，所述的长短时记忆神经网络层用于在系统的每一次迭代中完成单一样本的时序特征建模，其特征在于，

该神经网络模型还包括一个高斯嵌入式模块；

模型训练过程中，所述的长短时记忆神经网络层接收原始样本的输入提取时序特征并生成高斯嵌入式模块所需的输入；

所述高斯嵌入式模块用于样本不确定性信息的概率建模以及距离度量的优化，其中样本不确定性信息是指样本一阶和二阶统计信息；所述的高斯嵌入式模块接收所述的长短时记忆神经网络层的输出，所得结果输出到所述的反馈通路模块；

所述反馈通路模块用于实现网络的迭代优化，所述高斯嵌入式模块的输出经过反馈通路模块的密集层处理后得到的输出与原始样本的真实值做对比，通过反向传播方式优化各级权值，并将反馈结果输出至所述长短时记忆神经网络层的输入。

2.根据权利要求1所述的高斯嵌入式神经网络模型的建模方法，其特征在于，包括以下步骤：

步骤1、数据预处理：

按照相同间隔的时间记录所有数据点，首先取一段时间0至t个间隔的点作为一个样本，t+1处作为预测，依次类推，得到1至t+1，2至t+2，3至t+3，……，M-t至M时间段内的数据点，M代表数据点个数，确定样本后，对样本数值进行归一化操作，归一化用最大最小归一化：

式中，nx_i表示归一化后的t时刻的特征向量，x_i是时间i至i+t的数据点构成的样本，i＝0,1,…,M-t，x_min表示最小样本值构成的向量，x_max表示最大样本值构成的向量；

步骤2、长短时记忆神经网络层时序特征提取：

选择长短时记忆神经网络作为基本特征提取器，利用单层或多层长短时记忆神经网络从步骤1归一化处理后的数据中提取时序特征；

步骤3、高斯嵌入层处理：

利用高斯特征描述符对步骤2所述的时序特征分别进行一阶、二阶统计特征提取，并对高斯特征描述符采取对数-欧几里得运算实现距离度量的简化，得到简化后的高斯特征描述符的矩阵；具体过程如下：

步骤301、高斯描述符确定：在高斯嵌入层，先由多维高斯概率密度函数推导得到4种不同提取特征的高斯特征描述符矩阵；

步骤302、距离度量优化：使用对数-欧几里得运算将步骤301得到的高斯描述符矩阵从复杂的李群同构的高斯空间映射到代数空间；

步骤4、自适应机制：将步骤3简化后的高斯描述符矩阵，进行加权组合得到自适应矩阵，以实现自适应的学习数据中的统计特征的目的；

步骤5、高斯嵌入式网络的反向传播：将步骤4得到的自适应矩阵经过反馈通路模块的密集层处理后得到预测输出，采用MSE均方误差表示损失函数，根据样本预测输出与样本真实值的差异，进行高斯嵌入层的反向传播过程；利用Keras中的自动导数工具实现了整个高斯嵌入式网络的反向传播。

3.根据权利要求2所述的建模方法，其特征在于：所述步骤301高斯描述符确定的具体步骤如下：

有一组N个d维特征向量集合这些特征的高斯分布表示如下：

其中，分别是均值向量和协方差矩阵；高斯分布N(μ，σ²)由参数μ，σ²决定；

经过矩阵变换推导，得到直接描述符1、直接描述符2、间接描述符3和间接描述符4，并分别表示如下：

H矩阵是描述符1；

通过函数π：H→S＝HH^T，H被映射到对称正定矩阵S，即：

S矩阵是描述符2；

在H矩阵的基础上进行左极性分解，得到：

Q矩阵是描述符3；

在H矩阵的基础上进行右极性分解，得到：矩阵是描述符4。