[发明专利]异常检测模型训练方法、异常检测方法及相关装置

说明书

本发明实施例提出的一种异常检测模型训练方法、异常检测方法及相关装置，其中异常检测模型训练方法获取指标数据样本集合，将指标数据样本集合输入预设的降维模型进行降维处理得到无关联指标数据集合，对无关联指标数据集合进行拆分，将属于同一指标的指标数据作为一类，将各类指标数据分别输入预设的单指标学习模型，得到各个指标数据所属的指标对应的预测值和拟合误差值。通过上述训练得到的异常检测模型，可以将多维关联数据降维成低维无关联数据，并得到与低维无关联数据的各个维度对应的预测值和拟合误差值，在应用时，利用上述异常检测模型对多维数据进行处理，可以解决多维数据存在的维度高、数据量大、相关性强等问题。

技术领域

本发明实施例涉及基于人工智能的异常检测技术领域，具体涉及一种异常检测模型训练方法、异常检测方法及相关装置。

背景技术

为了提高系统的对外服务能力，系统中通常会设置有多台服务器。

在系统的实际应用中，由于业务类型多样以及各服务器状态不同等原因，常常会出现分发至各台服务器的流量不均衡等异常情况，而系统出现异常时通常会导致业务无法被正常处理，因此，对系统中的异常检测对于服务的稳定性非常重要。

现有的对异常检测的方法通常是对单指标进行异常检测，但是对于系统而言，由于一般涉及的服务器和指标都比较多，很可能出现每一指标单独看均表现正常，但是关联到一起却是异常的情况，因此，单指标的异常检测的检测结果不够准确，而多指标的异常检测存在着维度高、数据量大、相关性强等特点，相对于单指标的异常检测，更加困难。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明实施例提供了一种异常检测模型训练方法、异常检测方法及相关装置。

有鉴于此，第一方面，本发明实施例提供一种异常检测模型训练方法，所述异常检测模型包括降维模型和单指标学习模型，所述训练方法包括：

获取指标数据样本集合，所述指标数据样本集合为所属的指标之间具有关联性的指标数据的集合；

将所述指标数据样本集合输入预设的降维模型进行降维处理，输出无关联指标数据集合，所述无关联指标数据集合为所属的指标之间不具有关联性的指标数据的集合；

对所述无关联指标数据集合进行拆分，将属于同一指标的指标数据作为一类；

将各类指标数据分别输入预设的单指标学习模型，输出各类指标数据所属的指标对应的预测值和拟合误差值。

在一种可能的实现方式中，将所述指标数据样本集合输入预设的降维模型进行降维处理之前，所述方法还包括：

去除所述指标数据样本集合中的已知异常值。

本发明实施例还提供了一种异常检测方法，包括：

获取指标数据集合，所述指标数据集合包含多个指标的指标数据；

将所述指标数据集合输入第一方面所述的异常检测模型，输出与所述指标数据集合对应的无关联指标数据集合；

根据所述无关联指标数据集合中的各指标数据以及所述异常检测模型预训练得到的与所述各指标数据所属的指标对应的预测值和拟合误差值，输出异常检测结果。

在一种可能的实现方式中，根据所述无关联指标数据集合中的各指标数据以及所述异常检测模型预训练得到的与所述各指标数据所属的指标对应的预测值和拟合误差值，输出异常检测结果，包括：

计算所述无关联指标数据集合中各指标数据与所述异常检测模型预训练得到的与所述各指标数据所属的指标对应的预测值之间的差值；

将所述无关联指标数据集合中差值的绝对值大于对应的拟合误差值的指标数据，标记为异常指标数据；