[发明专利]一种云环境多指标无监督异常检测和根因分析方法

说明书

本发明公开了一种云环境多指标无监督异常检测和根因分析方法。所述方法具体如下：对云服务器中的多个时序指标数据进行数据的预处理，划分训练集、验证集和测试集；剔除训练集中的异常数据簇，并为训练集其余的数据簇打上伪正常标签；将训练集、测试集和验证集的数据进行样本划分，得到子序列；根据进行样本划分后的训练集的样本数据训练无监督异常检测模型；对测试集的时序指标数据进行异常检测，得到异常概率，确定异常数据点，标记异常区间；使用特征选择方法对异常区间中的多个变量计算权重，根据权重大小得到影响异常的指标。本发明检测的类型更多且准确性越高。其采用的LSTM层对数据的时间关系进行捕获，更好的分析指标的时序特征。

技术领域

本发明属于云环境中的数据处理分析技术领域，尤其涉及一种云环境多指标无监督异常检测和根因分析方法。

背景技术

随着云计算新技术包括SDN(Software Defined Network)、高可用性部署(HighAvailability)、监控和审计技术地不断发展，云计算在企业和个人的日常运转过程中正发挥很大的正向优势。正是由于云环境的广泛使用，工业界和学术界对云环境稳定性也有了一定的要求。其中，为了保证云环境的稳定性，对云环境进行异常检测并进行故障定位成为了重要研究问题。这不仅可以帮助维护人员快速定位到可能出错的模块，也可以提高系统的容错性，保证在故障出现之前可以快速进行恢复，提高用户体验。

在云环境中，海量的机器监控数据包括监控指标数据、日志数据、调用轨迹等，让运维人员很难实时地诊断出异常，并寻找出导致异常的关键因素。现有的一些智能算法可以通过这些监控数据包括但不限于机器性能指标、日志数据、服务调用链，来对机器异常进行诊断，并进行分析，定位到异常相关的关键因素。

其中，通过监控指标进行故障根因分析主要有几种方式。一是对指标总量进行异常检测，再对检测出的异常定位出导致该异常的细粒度指标集合；二是分析多维的时间序列数据，找到发生异常时不同指标之间的关联关系，诊断根因；三是通过监控数据和日志、监控数据和服务调用的组合方式，来分析定位异常，如对日志事件进行诊断时，可以分析与事件相关的时序数据，进而对事件发生的原因进行分析。最早异常检测模型是由Denning提出一个面向主机的异常检测模型。如今，随着智能运维的发展，一些机器学习智能算法也逐渐被应用到异常检测中。文献“基于序列化自编码器的无监督KPI异常检测方法（CN113204590A）”提出了一种基于序列化自编码器的无监督KPI异常检测方法，但对于云环境中不平衡的数据，难以构建很好的异常检测模型。文献“一种无监督指标异常检测方法（CN113064796A）”预先将指标突变异常进行分类，并根据指标突变异常的不同类别的性质,将对应的指标类型划分为不同类型，从而对待测指标数据进行检测。然而，云环境系统具有海量基于时间序列的指标数据，指标之间互相影响，且对指标数据打上标签需要耗费大量的人力物力。常用的异常检测算法有神经网络如长短期记忆网络（LSTM）和自动编码器（AE）等、支持向量机算法（SVM）、随机森林算法（RF）、贝叶斯算法、最近邻算法等，但这些算法很多都依赖于现有的标签，而且云环境中不平衡的数据也使得这些算法难以达到理想的准确度。然而，在实际的云环境异常检测中，由于监控指标数据不平衡、给数据打上标签需要耗费很大的人力物力，以及监控指标维度的不断增多，监控指标之间互相影响，如何构造一种适合云环境的无监督异常检测和分析方法仍然是云环境智能运维的一项重大挑战。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种云环境多指标无监督异常检测和根因分析方法，用以利用云环境中的指标监控数据，对云环境中的异常进行检测，并找出异常相关的指标因素，从而实现异常检测分析，提高云环境的可靠性和容错性。

本发明通过如下技术方案实现：

一种云环境多指标无监督异常检测和根因分析方法，包括以下步骤：

S1、对云服务器中的多个时序指标数据进行数据的预处理，将预处理后的数据划分为训练集、验证集和测试集；