[发明专利]一种通用的KPI异常检测框架实现方法

说明书

本发明公开了一种通用的KPI异常检测框架实现方法，包括如下步骤：步骤1：采用动态基线方法判定KPI数据是否异常；步骤2：从统计特征算法库中选择若干算法进行权重投票进一步做排查步骤1排查后的异常数据；步骤3：从算法库中选择算法对步骤2排查后的异常数据进行检查。本发明提出了一种三轮异常检测的算法框架，该算法框架组合了实时快速的动态基线方法，基于统计特征的算法集，以及基于神经网络或有监督的异常检测，可以达到高效处理与精确检测的最佳效果。

技术领域

本发明涉及KPI异常检测技术领域，具体来说，涉及一种通用的KPI异常检测框架实现方法。

背景技术

异常点检测(又称为离群点检测)是找出其行为不同于预期对象的一个检测过程，这些对象被称为异常点或者离群点。异常检测方式通常包括基于统计的模型、基于距离的模型、线性变换的模型、非线性变换的模型、机器学习的模型等。

KPI(key performance indicators)指的是对服务、系统等对象的监控指标(如网络中的延迟、吞吐量等)。其存储的形式是按其发生的时间先后顺序排列而成的数列，也就是我们通常所说的时间序列。时间序列的异常检测就是通过历史的数据分析，查看当前的数据是否发生了明显偏离了正常的情况。KPI数据异常检测有着十分重要的意义：通过实时的监控KPI数据，发现KPI数据存在的异常，及时进行相应处理，从而保证应用的正常运行。

通过对KPI数据设置阈值来进行实时异常检测的方法十分普遍，然而阈值的设置依赖用户经验，同时，随着KPI数据逐渐增多，为每一条KPI数据配置若干阈值的方法就会耗费巨大的人力。因此KPI数据异常检测应以免阈值设置、高度自动化为目标。

从统计特征上分，时间序列分为平稳时间序列和非平稳时间序列。平稳序列从直观上讲，均值和标准差不随着时间发生变化，而非平稳序列均值或者标准差一般会随着时间发生变化。下面两个图分别给出平稳序列和非平稳序列的例子。

时间序列分解是探索时序变化规律的一种方法，主要探索周期性和趋势性。基于周期、趋势分解的时序分解算法主要有经典时序分解算法、Holt-Winters算法和STL算法。

传统的时间序列预测方法往往针对一维时间序列本身建模，难以利用额外特征。相比之下，基于神经网络的方法往往可以获得更好的检测结果。如利用变分自动编码器(VAE)的Donut方法对单个时间序列建模(训练)，将重建误差较大的数据判断为异常数据；DeepAR可以利用序列在每个时间步上取值的概率分布，从相关的时间序列中有效地学习全局模型，从而学习复杂的模式。此外，还有一些有监督的异常检测方法，可以利用带标记的样本数据进行模型训练，通常也可以获得非常好的检测结果。

在实际工作中，监控指标非常多，异常的种类也非常多。有很多时序数据分析的算法，往往适用场景不明确，人们往往并不清楚应该采用哪个算法、使用什么参数。此外，数据中可能还有缺失，处理不当就会导致异常检测准确率很低。

对于基于监督学习的算法，在实践中异常标注难以批量获得，而且标注一条KPI曲线，往往需要反反复复调整矫正，耗时耗力。

另外，实际中可能需要同时开始监控几百万、几千万的KPI，因此，现实中的异常检测实践中往往无法找到某一种算法可以同时满足上述要求，无法同时解决上面的挑战。

发明内容

针对相关技术中的问题，本发明提出一种通用的KPI异常检测框架实现方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种通用的KPI异常检测框架实现方法，包括如下步骤：步骤1：采用动态基线方法判定KPI数据是否异常；

步骤2：从统计特征算法库中选择若干算法进行权重投票进一步做排查步骤1排查后的异常数据；