[发明专利]一种基于时空多头注意力机制的基站故障预测的方法

权利要求书

1.一种基于时空多头注意力机制的基站故障预测的方法，其特征在于，包括以下步骤：

步骤1：提取出基站各个时刻的告警信息，包括有告警类型、告警时长、区域、告警地点、电压、电流、上行速率、下行速率等；

步骤2：将某一段时间告警信息整合成一个包含时间信息和空间信息的通信数据时空特征图，时间维度为T；

步骤3：改进Resnet网络模型，在Resnet网络的基础上加入多头注意力模块，模块中采用多头交叉注意力机制；

步骤4：将处理好的具备时空信息的训练数据集输入到时空多头注意力模型中进行训练；

步骤5：将待检测的告警信息输入到训练好的模型中进行故障的预测。

2.根据权利要求1所述的一种基于时空多头注意力机制的基站故障预测的方法，其特征在于，在步骤1中，挑选出时间维度为T的数据的个数大于等于500个。

3.根据权利要求1所述的一种基于时空多头注意力机制的基站故障预测的方法，其特征在于，在步骤2中，建立基站故障预测数据集，包括以下子步骤：

步骤210：对基站以往的告警信息以及此次告警是否发生故障的信息进行采集，从而构建出基站故障预测的数据集，所述的基站故障的数据集中的样本包括基站的告警信息，以及此次告警是否发生故障的结果；

步骤220：对基站故障预测数据集中的每个时间维度为T的数据(类似图像)通过随机旋转、水平翻转和垂直翻转操作实现数据扩充，得到数量扩充三倍的基站故障预测的数据集，内含大于等于1500个的时间维度为T的训练数据；

步骤230：对扩充后的基站故障预测数据集中的样本按照预设比例8：2随即划分成训练集和验证集。

4.根据权利要求1所述的一种基于时空多头注意力机制的基站故障预测的方法，其特征在于：所述步骤3中，所述多头交叉注意力机制使用了两个输入，其目的是获得一个输入特征图查询与键之间的相关性，然后与另外一个输入的值相乘得到注意图，这一过程可以描述为：

公式(1)中，Q1和Q2为两个输入的特征图查询Query，K1和K2为两个输入的键Key，V1和V2为一个输入的值Value；Attention表示自意力机制算法；dk输入数据的维数，T为矩阵转置操作；MulHA 1和MulHA 2表示两个输入对应的多头交叉注意力。

5.根据权利要求4所述的一种基于时空多头注意力机制的基站故障预测的方法，其特征在于，所述多头注意力机制的模块，采用两个分支输入的结构，其中的操作包括线性投影、前馈网络、层归一化操作，并采用多头交叉注意力机制实现两个分支之间的信息交互。

6.根据权利要求5所述的一种基于时空多头注意力机制的基站故障预测的方法，其特征在于，首先是对两个输入的特征映射x₁和x₂进行降维操作，然后使用可学习的位置嵌入对两个输入的位置信息进行编码，并通过直接添加的方式将其与输入的特征映射分别融合，然后使用了层归一化的操作，得到特征嵌入后的特征y₁和y₂，这一过程可以描述为：

公式(2)中，P为线性投影操作，E为位置编码，LN表示层归一化。

7.根据权利要求6所述的一种基于时空多头注意力机制的基站故障预测的方法，其特征在于，多头交叉注意力机制的使用，使得两个特征图y₁和y₂之间实现了信息的交互，并加上原始的特征信息，得到特征图z₁和z₂，这一过程可以描述为：

公式(3)中，MulHA 1和MulHA 2分别表示两个输入y1和y2对应的多头交叉注意力。

8.根据权利要求7所述的一种基于时空多头注意力机制的基站故障预测的方法，其特征在于，使用了层归一化、前馈网络、特征映射等操作，适应了网络的下一个维度，然后将经过上述处理的两个特征图z1和z2进行相加，得到特征图f，实现进一步信息交互融合，这一过程可以描述为；

f＝M[LN(z₁)+LN(FN(z₁))]+M[LN(z₂)+LN(FN(z₂))](4)；

公式(4)中，LN表示层归一化，M表示特征映射，FN为前馈网络。