[发明专利]基于Mo-S-LSTMs模型的时间序列多步预测方法

权利要求书

1.一种基于Mo-S-LSTMs模型的时间序列多步预测方法，其特征在于，具体按照以下步骤实施：

步骤1、堆叠LSTM单元，采用Dropout结构，建立多输出堆叠LSTM模型的多输出堆叠LSTM模型Mo-S-LSTMs；

步骤2、建立基于Mo-S-LSTMs模型的时间序列多步预测算法。

2.根据权利要求1所述的一种基于Mo-S-LSTMs模型的时间序列多步预测方法，其特征在于，所述步骤1具体如下：

步骤1.1、构建Mo-S-LSTMs模型：

LSTM单元由两种状态和三个门组成，状态c_t称为记忆细胞单元，处理长期依赖性，另一个状态表示时间t的候选状态，LSTM神经网络使用输入门i_t、遗忘门f_t和输出门o_t控制状态c_t和将含有不同数量记忆细胞单元的多个长短期记忆单元堆叠起来，构成堆叠结构的LSTM神经网络模型，用于学习时间序列的特征；

步骤1.2、构建Dropout算法：

对于神经网络层x＝f(Ad(y)+s)，引入丢弃函数b(·)使得x＝f(Ad(y)+s)，丢弃函数b(·)的定义为：

公式(7)中m∈{0,1}^b是丢弃掩码，通过以概率为p的伯努利分布随机生成，p通过验证集选取最优值，A和s分别表示网络的权重和偏置参数，在模型训练时，激活神经元的平均数量为原来的p倍，而在模型测试时，每一个神经元的输出值都需要乘以p；

步骤1.3、Mo-S-LSTMs模型的建立：

建立具有三层结构的Mo-S-LSTMs模型，模型结构如下：

第1层LSTM包含64个神经元，第2层LSTM包含128个神经元，第三层包含32个神经元。

3.根据权利要求2所述的基于Mo-S-LSTMs模型的时间序列多步预测算法，其特征在于，所述步骤1.1具体如下：

输入门i_t的作用是控制新信息的加入，通过与tanh函数配合控制实现，tanh函数产生一个候选状态输入门i_t产生一个值均在[0,1]以内的向量控制被加入下一步计算的量，输入门i_t通过Sigmoid函数映射到[0,1]范围内，候选状态通过tanh激活函数映射到[-1,1]；

i_t＝σ(A_Yi·[Y_t,u_t-1]+b_i) (2)

公式(1)和(2)中，A_Yi和A_Yc分别表示输入门和候选状态的权重矩阵，b_c和b_i分别表示输入门和候选状态的偏置，σ表示Sigmoid激活函数，[Y_t,u_t-1]表示将向量Y_t和u_t-1拼成一个长向量；

遗忘门f_t控制上一时刻的输出u_t-1与当前时刻的输入Y_t被遗忘的程度，f_t通过Sigmoid函数映射到[0,1]范围，遗忘门的计算公式为：

f_t＝σ(A_Yf·[Y_t,u_t-1]+s_f) (3)

公式(3)中，A_Yf表示遗忘门的权重矩阵，s_f表示遗忘门的偏置；

通过输入门i_t和遗忘门f_t确定当前时刻内部状态c_t，计算公式如下：

公式(4)中，表示元素的乘法运算；

输出门o_t的作用是控制传递多少当前时刻内部状态c_t的信息给下一时刻u_t，输出门o_t也是通过Sigmoid函数映射到[0,1]范围内，其计算公式如下：

o_t＝σ(A_Yo·[Y_t,u_t-1]+s_o) (5)

公式(5)中，A_Yo表示输出门的权重矩阵，s_o表示输出门的偏置；

当前时刻的时间序列特征为：

公式(6)中，u_t表示当前时刻的输出，表示元素的乘法运算。