[发明专利]基于注意力机制的时间序列数据预测方法

权利要求书

1.一种基于注意力机制的时间序列数据预测方法，其特征在于：包括以下步骤：

步骤1：收集滚动轴承加速寿命退化试验数据集，其中{x₁，…，x_N}为{t₁，…，t_N}时刻的观测值集合，N为观测值个数；

步骤2、基于滚动轴承时间序列退化数据集X＝[x₁，…，x_N]^T建立RVM回归预测模型，x_n+1＝w^Tφ(x_n)+ε，其中，x_n为第n时刻的退化数据观测值，n＝d，…，N；d为嵌入维数；w＝[w₀，…，w_d]^T为模型权重参数，Φ＝[φ_d(x_d)^T，…，φ_N(x_N)^T]^T为核函数矩阵，φ_n(x_n)＝[1，k(x_n-d+1，x_n)，…，k(x_n，x_n)]，k(x，x)是核函数，ε～N(0，β^-1)为服从正态分布的随机误差；β^-1为ε方差；

步骤3、针对模型权重参数w引入先验参数α＝[α₀，…，α_d]^T，即令利用时间序列退化数据集X训练模型，迭代求解参数α和β，即令其中，m为w的后验均值，m_i为m的第i元素；∑为w的后验方差矩阵，为矩阵∑的i行i列元素，迭代求解时基于时间序列退化数据之间的相关性，为权重参数w添加注意力权重c＝[c₀，…，c_d]^T，k表示迭代次数；α^-1为先验方差；p(w_i)为w_i概率密度函数，w_i为w第i元素；α_i为α第i元素；t＝[x_d+1，…，x_N]^T；

步骤3.1、进行数据初始化：设置先验参数α为d+1维随机向量，设置参数β为0到1之间的随机数，设置最大迭代次数k_th，初始化k＝1；

步骤3.2、进行迭代更新；

步骤3.2.1、更新w的后验方差矩阵∑：∑＝(Z+βΦ^TΦ)^-1

步骤3.2.2、更新w的后验均值m：m＝β∑Φ^Tt；

步骤3.2.3、更新α：其中，α_i为α第i元素，i＝0，…，d.

步骤3.2.4、更新β：

步骤3.2.5、令k＝k+1，若迭代次数k≥k_th或||α_k+1-α_k||的值收敛，则迭代结束并输出α和β^-1；否则，跳转至3.2.1；

步骤4、根据RVM回归预测模型预测N+1时刻的退化预测数据x_N+1＝m^Tφ_N[x_N)；

步骤5、通过判断x_N+1是否达到故障阈值来判断机械是否能够正常运行，若x_N+1超过故障阈值，则机械要进行维修保养，若小于故障阈值，则机械正常运行；

其中，步骤3中所述迭代求解为：边缘似然函数令边缘似然函数的导数等于0；得到：

其中，∑＝(Z+βΦ^TΦ)^-1，m＝β∑Φ^Tt；由于权值w后验p(w|t，α，β)＝N(w|m，∑)所以∑＝(Z+βΦ^TΦ)^-1为后验方差，m＝β∑Φ^Tt为后验均值；

其中，步骤3中所述权重参数w添加注意力权重c＝[c₀，…，c_d]^T：其中，Z＝AB，p(w|cα)为w先验分布；

所述注意力权重c_j＝f(s([x_j，…，x_N-d-1+j]^T，t))

其中，j＝1，…，d，c＝[c₀，…，c_d]^T，c₀＝1；t＝[x_d+1，…，x_N]^T；s(a，b)为注意力度量，用于表示a与b的相似性；f(s)为注意力权重分配函数。