[发明专利]一种基于时空多头注意力机制的基站故障预测的方法

说明书

本发明公开了一种基于时空多头注意力机制的基站故障预测的方法，涉及基站的故障预测技术领域，具体为种基于时空多头注意力机制的基站故障预测的方法，包括以下步骤：步骤1：提取出基站各个时刻的告警信息，包括有告警类型、告警时长、区域、告警地点、电压、电流、上行速率、下行速率等；该基于时空多头注意力机制的基站故障预测的方法，通过在Resnet网络模型中引入的多头注意力模块，弥补了无法关注不同告警之间联系的不足，有效的解决了建模远程依赖关系，除此之外，本发明还在多头注意力模块中使用了多头交叉注意力机制，实现不同层级特征图之间的信息交互，提高了网络的表征能力，将基站故障预测准确率从80％调高到了97％。

技术领域

本发明涉及基站的故障预测技术领域，具体为一种基于时空多头注意力机制的基站故障预测的方法。

背景技术

移动通信基站往往存在多种异常告警，不同警报之间会互相影响；某次异常告警转为故障的时候，也往往会受之前几次异常警报的影响。现有的基站故障预测的方法未能考虑到告警之间的相互影响和不同时间段告警之间的相互影响，故对故障的预测准确率不高。

现有的方法利用机器学习中的关联规则方法对基站的运行数据进行分析，所利用的关联规则方法都是无监督学习算法，无法充分利用数据的判别信息，因此预测的准确率不高，无法大规模推广到实际的应用之中。现有的基于人工智能技术的基站故障预测方法主要从两个角度来实现，第一，利用基站现场采集的图片进行分析，此类方法需要在基站架设摄像头或者利用人工等方法进行图片采集，耗费大量的资源，而且对遮挡等问题也比较敏感，不利于大面积推广。这类方法与本发明所提方法差异较大；第二，利用机器学习中关联规则的方法对基站运行数据进行分析，做出基站退服故障的告警。这种方法时间复杂度较高，而且预测的准确性达不到实际生产应用的要求。

发明内容

针对现有技术的不足，本发明提供了一种基于时空多头注意力机制的基站故障预测的方法，解决了上述背景技术中提出的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于时空多头注意力机制的基站故障预测的方法，包括以下步骤：

步骤1：提取出基站各个时刻的告警信息，包括有告警类型、告警时长、区域、告警地点、电压、电流、上行速率、下行速率等；

步骤2：将某一段时间告警信息整合成一个包含时间信息和空间信息的通信数据时空特征图，时间维度为T；

步骤3：改进Resnet网络模型，在Resnet网络的基础上加入多头注意力模块，模块中采用多头交叉注意力机制；

步骤4：将处理好的具备时空信息的训练数据集输入到时空多头注意力模型中进行训练；

步骤5：将待检测的告警信息输入到训练好的模型中进行故障的预测。

优选的，在步骤1中，挑选出时间维度为T的数据的个数大于等于500个。

在步骤2中，建立基站故障预测数据集，包括以下子步骤：

步骤210：对基站以往的告警信息以及此次告警是否发生故障的信息进行采集，从而构建出基站故障预测的数据集，所述的基站故障的数据集中的样本包括基站的告警信息，以及此次告警是否发生故障的结果；

步骤220：对基站故障预测数据集中的每个时间维度为T的数据(类似图像)通过随机旋转、水平翻转和垂直翻转操作实现数据扩充，得到数量扩充三倍的基站故障预测的数据集，内含大于等于1500个的时间维度为T的训练数据；

步骤230：对扩充后的基站故障预测数据集中的样本按照预设比例8：2随即划分成训练集和验证集。

优选的，所述步骤3中，所述多头交叉注意力机制使用了两个输入，其目的是获得一个输入特征图查询与键之间的相关性，然后与另外一个输入的值相乘得到注意图，这一过程可以描述为：