[发明专利]一种运维监控数据治理方法

说明书

本发明提供了一种运维监控数据治理方法，包括1）采集维护对象监控指标下的不同类型的运维数据；2）对运维数据进行规整排列，存储于数据库；3）依据规整排列后的运维数据构建治理模型；4）依据治理模型任意选取数据库中某一节点作为起始节点，根据起始节点的阈值，判断进入哪个节点，直到遍历同数据类型的所有节点，并输出预测值；5）重复执行步骤4）直到遍历整个数据库，并且全部输出了预测值；6）依据预测值对维护对象的运营状况做出分析和判断。通过统计算法拉依达准则加权移动平均值的控制图和基于有监督学习算法和无监督学习算法相结合的运维监控数据治理，从数据采集、治理、存储和分析服务四个步骤实现IT运维监控数据质量的提高。

技术领域

本发明涉及电力IT运维监控数据分析方法，特别是指统计算法和机器学习算法相结合的运维监控数据治理方法。

背景技术

IT运维监控系统相对独立，并且数据种类繁多和数据格式不统一，存在网络数据、应用性能数据、机房数据、服务器数据、平台性能数据、数据库性能数据和终端数据等，数据特点是数据分散、数据量大和数据标准和规范不统一等，造成数据共享困难，导致运维监控数据的开发利用满足不了运维监控业务的需要。

发明的目的及亮点

为了实现IT运维监控数据质量的提高，应用统计算法3-sigma(拉依达准则)和EWMA(加权移动平均值的控制图)，并结合无监督学习算法One Class SVM和有监督学习算法Random Forest(随机森林)，实现了性能指标数据和日志数据质量的提高。

具体的方案如下:

一种运维监控数据治理方法，包括如下步骤：

1)采集维护对象监控指标下的不同类型的运维数据；

2)对运维数据进行规整排列，存储于数据库；

3)依据规整排列后的运维数据构建治理模型；

4)依据治理模型任意选取数据库中某一节点作为起始节点，根据起始节点的阈值，判断进入哪个节点，直到遍历同数据类型的所有节点，并输出预测值；

5)重复执行步骤4)直到遍历整个数据库，并且全部输出了预测值；

6)依据预测值对维护对象的运营状况做出分析和判断。

优选的，所述运维数据包括指标数据和日志数据；

所述指标数据是时序数据，其包括指标采集时间和对应指标的值；

所述日志文本数据是半结构化文本格式，包括程数据库日志和中间件日志。

优选的，根据指标数据和日志数据数据源的格式，采用相应的分析方法，建立相应的数据模型，制定出合适的数据采集策略。

优选的，所述指标数据采集方法如下：

依据不同的维护对象，建立同一接收通道，

对维护对象的指标数据进行实时采集，

对采集的数据进行统计、翻译、计算以及自定义，

按照自定义的分类结果分别进行存储。

优选的，所述日志数据采集方法如下：

依据不同的维护对象，建立接收者采集通道，

每一采集通道对维护对象的运维数据进行实时采集，

每一采集通道对实时采集的数据进行处理，按照采集源、汇特征进行分类，按照分类结果分别进行存储。