[发明专利]一种融合数据增强和深度学习的时间序列预测方法

权利要求书

1.一种融合数据增强和深度学习的时间序列预测方法，其特征在于，包括步骤如下：

(1)原始数据通过添加不同比例的基于规则的高斯噪声，实现数据增强得到新的数据集；

(2)编码器对新的数据集进行特征编码，将时间序列数据转换为多维的矩阵向量，从而得到数据输入；

(3)编码器使用多头注意力机制去计算各个数据的权重，在训练过程中不断更新权重，编码器处理后得到输出和新的数据再作为解码器的输入，在模型的Embed层中加入对抗训练实现数据增强，解码器也是通过和编码器形成多头注意力和自身有掩码的多头注意力去捕捉时间序列中的复杂的线性关系；

(4)构建损失函数，在每一次的训练中不断更新权重参数，训练结束后可以对时间序列进行预测。

2.根据权利要求1所述的融合数据增强和深度学习的时间序列预测方法，其特征在于，所述步骤(1)中添加高斯噪声，由于风机会处在陆地海上等多个场所，如果环境相对恶劣会导致传感器示数产生一定的误差，为了模拟真实的数据使用场景向数据集中添加不同比例的高斯噪声。对高斯噪声的定义公式如下：

其中表示添加的噪声。

3.根据权利要求1所述的融合数据增强和深度学习的时间序列预测方法，其特征在于，所述步骤(2)中进行特征编码，在长序列预测问题中，数据建模不仅要用到局部的时序信息，全局的时间戳也很重要(hour，day，week，month，year，holiday等)。因此模型中不光对时间数据和局部信息进行编码，还针对全局时间戳进行编码。在维度对齐方面，使用一维卷积滤波器将标量上下文映射到d_model维的向量由此可以得到输入由三个部分组成：标量投影、局部时间戳和全局时间戳，表示向量如下：

其中，i∈{1，...，L_x}；α为平衡因子。

4.根据权利要求1所述的融合数据增强和深度学习的时间序列预测方法，其特征在于，所述步骤(3)中编码器中所使用的多头注意力机制，与传统的transformer的多头自注意力层不同，主要针对多头自注意力层进行改进，降低了常规自注意力计算复杂度和空间复杂度，设计出ProbSparse自注意力机制。与传统自注意力机制中对query和key向量中对每个q和k全部计算不同，ProbSparse会选取query和key中分值较大的一部分来作为注意力分数的计算，具体公式如下：

其中qi表示query中的第i个维度，k_j表示query中的第j个维度。

上述两个公式中第二个公式是第一个公式的近似结果，可以降低自注意力层的时间复杂度变为O(L·ln L)。首先，假设序列长度为L，模型对query向量中的q按照5·ln L的长度随机采样k，根据第一个公式计算每个query的稀疏性得分并选择5·ln L个query，只计算5·ln L个query和key的点积结果，进而得到attention结果。其余没有用到的q和k则使用query和key的均值替代。

为了更快的处理，计算可以以矩阵的形式完成，公式如下：

其中，是与query大小相同的稀疏矩阵，在稀疏度量为M(q，K)的尺度下它仅包含Top-u个q(u＝5·ln L)。

此外，在多头的视角下，每头的注意力生成不同的稀疏的query-key键值对，从而避免丢失重要的信息。