[发明专利]一种基于注意力机制深度学习的混沌时间序列预测方法

权利要求书

1.一种基于注意力机制深度学习的混沌时间序列预测方法，其特征在于包括以下步骤：

步骤1、构建混沌时间序列数据集，利用Lorenz系统和Rossler系统生成混沌时间序列数据，具体包括以下子步骤：

(a)Lorenz系统方程通过公式(1)进行描述，

式中，和表示对自变量时间t求导数，a，b，c是Lorenz系统参数常量，设置初始值为a＝16,b＝4,c＝45.92，x，y，z表示Lorenz系统的状态，设置初始值为x(0)＝y(0)＝z(0)＝1.0，用四阶Runge-Kutta法产生以Δt为时间间隔的混沌时间序列；

(b)为使Lorenz系统完全进入混沌状态，丢弃初始瞬态前1000个点；

(c)通过简单的交叉验证生成训练集和测试集，获得具有混沌特性的时间序列；

(d)Rossler系统方程通过公式(2)进行描述：

式中，和表示对自变量时间t求导数，x，y，z表示Rossler系统的状态，设置初始值为x(0)＝y(0)＝z(0)＝1.0，，a，b，c是Rossler系统参数常量，设置初始值为a＝0.2,b＝0.2,c＝5，用四阶Runge-Kutta法产生以Δt为时间间隔的混沌时间序列；

(e)舍弃掉瞬态，将前20000个点划为训练集,接着5000个点划为测试集；

步骤2、对混沌时间序列进行相空间重构，根据Takens定理进行相空间重构，对于d′维混沌吸引子的一维标量时间序列{x(i):1≤i≤n}都可以在拓扑结构不变情况下找到一个d维嵌入相空间，通过一维的混沌时间序列{x(i)}的不同延迟时间τ来构建d维相空间状态向量，d维相空间状态向量通过公式(3)进行描述：

X_i＝(x(i),…,x(i+(d-1)τ),i＝1,2,…,n-(d-1)τ (3)

式中，X_i表示相空间状态向量，x(i)表示标量时间序列，d表示嵌入维数，τ表示延迟时间，Takens定理证明找到合适的嵌入尺寸，如果延迟坐标的维数是动态系统的维数，则在该嵌入维数空间中恢复吸引子，吸引子在嵌入维空间中恢复，在重构空间的轨迹中，动力系统保持微分同胚性，设置嵌入维数d＝5，延迟时间τ＝1；

步骤3、使用LSTM神经网络模型训练混沌时间序列数据，LSTM神经网络模型将输入的历史时间序列数据编码成隐藏状态和细胞状态，通过门的设计,LSTM神经网络模型自适应地控制积累信息的强弱，其中每个细胞计算单元的计算过程通过公式(4)-(9)进行描述：

i_t＝σ(W_i[h_t-1,x_t-1]+b_i) (4)

f_t＝σ(W_f[h_t-1,x_t-1]+b_f) (5)

o_t＝σ(W_o[h_t-1,x_t-1]+b_o) (8)

h_t＝o_t tanh(C_t) (9)

式中，i_t，f_t,o_t分别表示输入门、遗忘门和输出门，C_t表示细胞状态，W_i,W_f,W_o,W_C分别表示控制每个门输出的权值矩阵，b_i,b_f,b_C,b_o分别表示i_t,f_t,C_t,和o_t的偏置量，C_t-1表示上一层的细胞，x_t-1表示当前的输入，h_t-1表示上层的隐藏层输出，σ为sigmoid函数，tanh为激活函数，h表示隐层输出；

步骤4、构建基于预测的注意力机制模型，随着输入混沌时间序列长度的增加，训练模型的隐藏层信息会丢失或者引入噪声干扰，预测网络的性能会迅速下降，这里使用注意力机制在所有时间步长上自适应选择相关的隐藏状态信息，具体地，基于先前的预测网络LSTM单元隐藏状态来计算时间t处每个隐藏状态的关注权重通过公式(10)-(12)进行描述：

式中，表示在进行tanh变换后得到的隐层状态，表示任一时刻的LSTM神经网络模型的隐层状态，W_w表示权重向量，b_w表示偏置向量，V表示投影向量，tanh是激活函数，α_tⁱ为注意力权重表示第i个隐藏状态对于预测的重要性，c_t表示在注意力机制作用下的前后关系向量，是所有隐藏状态{h₁,h₂,…,h_T}的加权和，设置LSTM神经网络模型隐层数T＝11；

步骤5、构建离线训练模型：训练模型使用端到端的方式通过时间反向传播算法BPTT进行训练，损失函数使用均方根误差RMSE函数,设置学习率lr＝0.01，选择Adam算法作为优化算法，训练优化的目标是使模型输出的逼近真实观测值(y₁,y₂,…,y_n)，均方根误差的计算，通过公式(13)进行描述：

式中，N为样本总数，t表示任一时刻样本，y_t为第i个样本的预测值，为第i个样本的实际值；

步骤6、在线预测，具体包括以下子步骤：

(a)、将步骤1得到的测试混沌时间序列数据，通过步骤2相空间重构对数据进行处理；

(b)、通过步骤3使用LSTM神经网络模型对混沌时间序列进行预测，利用步骤4构建模型隐藏层的注意力机制模型；

(c)、在步骤5训练模型中优化好参数后,将所学得的参数迁移至预测模型，当预测一段长度为T的时间序列(x₀,x₁,…,x_T-1)时，使用预测模型做间接多步预测,迭代地将模型预测的输出作为下一步模型的输入,最终得到长度为P预测序列