[发明专利]一种基于回归预测的KPI指标多元异常监测方法

说明书

本发明公开了一种基于回归预测方法监测KPI指标中的单点数据异常、连续数据异常、相关性异常等多元数据异常的方法。方法主要包括以下步骤：对数据集进行预处理，分析数据集的周期性，趋势，相关性等统计属性；对数据集通过统计建模或机器学习算法计算预测值；计算实际值与预测值的异常分数，并利用3‑sigma准则进行异常值的监测；针对单点异常，直接通过准则监测；针对连续异常，为降低连续异常对预测的影响，采取一个周期内的预测平均值进行异常分数计算。使用标准度量方法AUC和PRAUC来评估算法精度。在本方法中可以采用多种机器学习回归算法进行预测值计算，针对多元异常提出针对性解决方案，使算法更具灵活性，对数据的异常类型监测也更全面。

技术领域

本发明属于智能运维领域，特别涉及一种基于回归预测的KPI指标多元异常监测方法。

背景技术

KPI(Key Performance Indicator)是通过定时采样获取的时间序列数据，具有实际的应用意义。互联网企业中的KPI数据主要包括反映服务系统监控状况及服务质量的服务KPI(调用成功率、调用时间等)和反映实际物理机器运行状况的机器KPI(如磁盘IO，内存、CPU等)。金融行业的KPI主要包括交易量，交易成功率，网页访问量等。实时监控KPI数据，及时准确地发现KPI异常，确保系统稳定运行，对企业有着非常重要的意义。

现在业界常用的异常监测的方法包括：同环比模型、阈值模型、趋势模型、无监督模型、有监督模型、多项式拟合XGBoost、无监督Isolation Forest、有监督Random Forest等等。但在针对不同的业务场景、不同异常类型时，实际异常监测效果各有不同。

由于KPI时序数据可视化成本低、规律明显，所以经常被应用于运维领域，监控系统的运行状态。由于系统日渐复杂，运维数据也逐渐庞大，单纯的人力监测已经不能满足日益增长的智能运维需求。

发明内容

发明目的：为了克服现有技术中的不足，本发明提供了一种基于回归预测的KPI指标多元异常监测方法。该监测方法通过算法来进行自动的KPI异常监测；对不同的业务场景可以构建不同的监测模型，对多种异常监测更具针对性和智能化，克服了对不同异常类型的局限性，提升了异常检测的准确性和鲁棒性，且人力成本低、维护成本低、效果更稳定。

技术方案：一种基于回归预测的KPI指标多元异常监测方法，包括如下方法：

对收集的KPI指标时间序列数据集进行数据预处理；

对通过数据预处理的KPI指标时间序列数集进行特征工程，从KPI指标时间序列数集中提取相关特征中；所述相关特征包括：时间序列的时间特征、时间序列的统计特征、时间序列的拟合特征、以及时间序列的时域特征；全面地提取相关特征以用于后续不同预测算法的使用，并可选择是否采用乘法或加法方式删除趋势成分。

将提取的特征数据集输入所有预测算法类进行运算，所有预测算法类可采用简单统计建模类：WMA、EWMA、ARIMA、Holt-Winters；线性回归类：简单线性回归、Huber回归、Ridge回归；基于树的回归类：回归树、Random Forest、XGBoost进行预测，得到多个对应各个KPI指标时间序列的异常预测值；

对所有预测算法输出的多个异常预测值和实际的KPI时序数据，计算异常度得分，并使用3-sigma准则对异常度得分进行异常监测和进行异常类型判断，且对于不同的异常类型，采用的预测算法类的组合不同；

分别对多个异常度得分进行精度评估，筛选出最高得分，通过计算Precision、Recall、F1-Score，AUC和PRAUC评估算法的精度，进而选取出最优异常监测方法组合；根据所选取的最优异常监测方法组合进行KPI指标多元异常监测。