[发明专利]基于多元特征矩阵的XGB多维运维数据异常检测方法

说明书

本发明公开了一种基于多元特征矩阵的XGB多维运维数据异常检测方法，包括以下步骤：根据产品服务数据，构建采集数据的METRIC表；根据METRIC表采集产品服务的运维数据，构造训练样本；根据训练样本构建数据集；利用数据集训练XGB模型；利用训练后的XGB模型对待检测运维数据进行异常检测。本发明首次提出对多维运维数据进行异常检测，通过多维运维数据设计METRIC表结构，达到数据监控采集的定向性目标，充分考虑了业务的整体性，结构逻辑完整，更有利于产品的监管、数据的采集。此外，采用XGB模型进行分类检测，且通过全面提取数据特征，构造多元特征矩阵对XGB模型进行训练，提高了XGB模型的可靠性，进而提高检测的精度。

技术领域

本发明属于智能运维异常检测领域，特别涉及一种基于多元特征矩阵的XGB多维运维数据异常检测方法。

背景技术

近年来，移动互联网、云计算、大数据等高新技术的应用正在不断成熟演进，要求企业紧追时代浪潮、完成数字化转型、避免被时代淘汰。企业进行数字化转型将为自身带来重大的发展机遇，同时也将面临更大的挑战，IT环境和故障处理将会变得史无前例的错综复杂。为提供更高效快速的应急服务能力，越来越多的企业开始部署智能运维。通俗的说，部署智能运维是为了保证大规模复杂系统以及产品业务的正常运行，其中，及时发现系统或业务的异常是运维中的重要环节。系统在运行过程中，以及产品业务在服务过程中可以采集到很多描述各个部分运行状态的运维数据，比如，CPU利用率、产品业务处理量等。异常检测旨在通过一定的方法自动地发现这些运维数据中的异常，为后续的告警、自动止损、根因分析等提供决策依据。

企业传统的异常检测方式为基于阈值的异常检测方法，这种方法的主要思想是高于高阈值或者低于低阈值的区域为异常区域。最古老的方法是直接设定静态阈值的异常检测方法，此种检测方法会造成大量异常情况的误告警或未告警。而基于滚动时间窗口的移动平均异常检测方法能够实现动态阈值思想，在序列取值随时间波动较小的场景中，利用移动平均方法计算移动平均均值，并设定该均值为当前时刻应该存在的准确值。然后，与该时刻的真实值作比较，若差值超过一定阈值则判定该时间节点存在异常。由于不同的运维数据阈值设定会存在极大的差异，部分运维数据值域范围极大，如若设定不同的阈值来处理多维运维数据异常检测问题会造成检测时间剧增，而且，如果运维数据之间的干扰性(例如，产品业务服务成功量和失败量之间相互对立)也会造成更严重的误告警情况。因此，基于阈值的异常检测方法极不适用于多维运维数据的异常检测。

多维运维数据异常检测在根本上就是正常类与异常类的二分类问题，XGB模型主要解决多分类问题。XGB模型采用boosting集成学习方法，将许多弱分类器迭代成为一种强分类器，它是一种能够发现数据之间相关性，从大量数据集中学习到规则，从而获得更加准确分类效果的模型。XGB模型能够在存销预测、物理事件分类、网页文本分类、顾客行为预测、点击率预测、动机探测、产品分类等一系列的问题上取得良好的效果。其中，特征工程在这些结果中扮演重要的角色。在文献“XGBOD Improving Supervised Outlier Detectionwith Unsupervised Representation Learning”中，针对时间序列异常可能很好地隐藏在某些子空间中或者只能在特定假设下才能识别的问题，利用标签构造了有监督的XGB模型，并实现了最终检测，实验结果充分说明了XGB模型在一维时间序列异常检测的优越表现。在文献“基于XGBoost的多维度超短期负荷预测研究”中，针对电力系统除电荷本身的时序特征外，温度、湿度、降雨量和人口等因素也会对电荷变化产生明显影响的问题，构造了结合温度、湿度、降雨量等因素的多维度XGB预测模型，提供了XGB模型在多维运维数据分析上的可行性依据。

基于以上事实，在产品服务过程中会存在大量的运维数据，而且XGB模型能够在多维时间序列分析有非常好的效果。

发明内容

本发明的目的在于提供一种基于多元特征矩阵的XGB多维运维数据异常检测方法。