[发明专利]稀疏自注意力机制的电力价格预测方法及模型训练方法

权利要求书

1.一种基于稀疏自注意力机制的电力价格预测方法，其特征在于，包括以下步骤：

获取目标预测时段之前的当前时段的电力价格数据；

将所述当前时段的电力价格数据输入预先训练好的电力价格预测模型；

所述电力价格预测模型输出所述目标预测时段内的电力价格预测结果；

其中，所述电力价格预测模型通过以下步骤获取：

获取电力价格历史数据；

对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据；

根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；

构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所述构建特征工程后的矩阵数据通过线性变换分别转换为Q、K、V矩阵，并计算关于Q、K、V矩阵的attention结果；

利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。

2.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，其中一项特征工程为金融特征工程，通过以下方式构建所述金融特征工程：

引入金融量化交易中的macd、kdj、MA指标中的一种或多种，作为辅助金融特征加入到所述电力价格历史数据中。

3.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，其中一项特征工程为传统特征工程，通过以下方式构建所述传统特征工程：

所述电力价格历史数据包括价格字段和其他多个字段，构建其他字段与价格字段的相关性矩阵，得到各个其他字段对应的皮尔逊相关系数，将小于预设相关系数阈值的皮尔逊相关系数对应的字段舍弃；和/或，计算各个字段对应的方差，将方差计算结果小于预设方差阈值的对应字段舍弃。

4.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，其中一项特征工程为全局时间戳工程，通过以下方式构建所述全局时间戳工程：

确定时间戳的多个维度，其包括分钟、小时、日、周、月、节假日维度中的部分或全部；

将多个维度的时间戳映射成向量，并进行相加操作。

5.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，为每个query随机采样部分的key，利用以下公式计算每个query的稀疏性得分：

其中，softmax()为将数值向量转换为概率分布向量的函数，K^T为K矩阵的转置矩阵，d_k为K矩阵的维度；

选取稀疏性得分最高的N个query，计算N个query和随机采样的key的点积结果，得到所述关于Q、K、V矩阵的attention结果。

6.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，预设不同的时间颗粒度，对应训练得到不同的电力价格预测模型。

7.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，所述预设的时间颗粒度与目标预测时段的时长相等。

8.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，所述目标预测时段的时长与所述当前时段的时长相等。

9.根据权利要求1所述的基于稀疏自注意力机制的电力价格预测方法，其特征在于，对所述电力价格历史数据构建多项特征工程之前，对所述电力价格历史数据进行清洗操作，所述清洗操作包括去除异常值和/或去除重复值，以完成清洗操作的电力价格历史数据作为构建特征工程的源数据。

10.一种基于稀疏自注意力机制的电力价格预测模型训练方法，其特征在于，包括以下步骤：

获取电力价格历史数据；

对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据；

根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；

构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所述构建特征工程后的矩阵数据通过线性变换分别转换为Q、K、V矩阵，并计算关于Q、K、V矩阵的attention结果；

利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。