[发明专利]基于自注意力机制的设备剩余寿命预测系统

权利要求书

1.一种基于自注意力机制的设备剩余寿命预测系统，其特征在于，该系统包括深度单元、注意力单元、预测单元；

所述深度单元，基于前馈神经网络构建，配置为将输入数据消除时间维度后进行高维向量表示，得到第一向量；所述将输入数据消除时间维度后进行高维向量表示的具体步骤为：首先将输入数据的多变量时间序列拉平得到定义为之后将拉平处理后的输入数据输入到多层堆叠的神经网络中，得到Deep部分的高维向量表示，其中，高维向量表示的每层神经网络表示为：

h_l+1＝RELU(W_lh_l+b_l+h_l)

其中，RELU(x)＝max(0,x)为非线性函数，W_l为第l层模型的权重参数，h_l为第l层的输入特征，b_l为第l层的偏置参数；

所述深度单元的输出部分设置有Res-FFNN；

所述注意力单元，配置为将输入数据的时间序列映射到统一的向量空间，并将所述向量空间中对应的特征向量输入到自注意力模块，得到多个子空间的注意力向量并拼接为一个，得到第二向量；其中，所述得到多个空间的注意力向量并拼接为一个采用Multi-HeadSelf-Attention多头自注意力模块实现，Multi-Head Self-Attention函数的定义为：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)

其中，head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)，W_i^Q为第i层的查询权重参数，W_i^K为第i层的键权重参数，W_i^V为第i层的值权重参数；

Embedding向量e_i经过MultiHead多头注意力函数得到注意力向量(其中，a_t为第t时刻的注意力向量)之后，将注意力向量a_i输入到单层Res-FFNN得到为第i个注意力隐向量，函数定义为：

其中，W_ffn为Res-FFNN的权重参数，b_ffn为Res-FFNN的偏置参数；

将经过Res-FFNN得到的在flatten layer沿着时间维度展开并且拼接到一起，得到Attention部分的最终输出；

所述预测单元，配置为将所述第一向量、所述第二向量合并为第三向量，并通过前馈神经网络输出预测结果。

2.根据权利要求1所述的基于自注意力机制的设备剩余寿命预测系统，其特征在于，所述第一向量，其获取方法为：

将所述输入数据的多变量时间序列拉平以消除其时间维度；

将拉平处理后的输入数据通过多层堆叠的神经网络获取高维向量表示。

3.根据权利要求1所述的基于自注意力机制的设备剩余寿命预测系统，其特征在于，所述注意力单元包括嵌入模块，所述嵌入模块用于将输入数据的时间序列映射到统一的向量空间；

所述嵌入模块包括两个CNN结构；第一个CNN结构为滤波器尺寸为3的单层CNN结构；第二个CNN结构包括两层滤波器尺寸为1的CNN层。

4.根据权利要求3所述的基于自注意力机制的设备剩余寿命预测系统，其特征在于，所述注意力单元还包括多头自注意力模块；

所述多头自注意力模块包括自注意力模块；所述自注意力模块的输入为增加位置编码向量后的所述嵌入模块输出的向量空间中对应的特征向量；所述自注意力模块的输出为多个子空间的注意力向量拼接后的向量。

5.根据权利要求1所述的基于自注意力机制的设备剩余寿命预测系统，其特征在于，所述注意力单元中Res-FFNN之后设置有序列拼接层，用于将Res-FFNN输出的向量沿着时间维度展开并且拼接到一起。