[发明专利]一种基于智能运维平台大数据的数据采集方法

权利要求书

1.一种基于智能运维平台大数据的数据采集方法，其特征在于，包括以下步骤：

S1、智能运维平台进行数据采集，所述数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台；智能运维平台对采集的数据进行分析，所述采集的数据包括结构化的数据、非结构化和/或半结构化的数据；

S2、将结构化的数据进行标准化处理得到统一的标准数据；将非结构化或半结构化的数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储到数据库，将所有的标准数据按照数据类型的属性，定义并存储所有数据对象信息和数据对象；

S3、将存储在数据库中的无用的标准数据过滤并剔除，将大量的标准数据分类并进行管理；根据数据之间的紧密程度进行聚类，通过数据的密度来考虑数据之间的可连接性；

S4、对数据进行离线的智能化分析，对聚类后的数据形成雷达图，在雷达图上显示不同设备对应的数据，进而与标准数据相对比，获得多种设备的故障，告警所关联的项目信息，预先通知系统记录的具体处理人进行告警故障处理。

2.如权利要求1所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，在所述步骤S1中，所述智能运维平台对设备进行数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台，收集智能运维平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用；同时在智能运维平台的采集端部署大量数据库，并在这些数据库之间进行负载均衡和分片。

3.如权利要求2所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，所述步骤S1中的数据采集具体为，通过网络爬虫从一个或若干个初始网页的URL开始，获得各个网页上的内容，并且在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足设置的停止条件为止；在各个网页上收集相关数据将结构化的数据、非结构化和/或半结构化的数据从网页中提取出来。

4.如权利要求3所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，在所述步骤S2中，将结构化的数据进行标准化处理得到统一的标准数据，将从网页中提取出来的非结构化数据和/或半结构化数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储在本地的存储系统中。

5.如权利要求4所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，在所述步骤S2中，数据的标准化处理是通过归一化对所有数据点进行处理获得归一化数据点值，将所有数据定义为不同数据点，设定核心数据点阈值为Z，计算归一化数据点值z，z的计算方式为：

；

其中，X是其中一个数据点的值，Y为所有数据点的平均值，α为调节系数，β为所有数据点的标准偏差。

6.如权利要求5所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，所述步骤S3中将无用的标准数据过滤并剔除具体为，选取步骤S2中归一化数据点值z的绝对值大于核心数据点阈值Z的所有数据点保留，剔除其余不符合要求的数据点。

7.如权利要求6所述的一种基于智能运维平台大数据的数据采集方法，其特征在于，将保留的数据点分类并进行管理，并根据数据之间的紧密程度进行聚类，保留的数据点即符合要求的数据点；首先整理数据点，所述数据点为保留的标准数据，根据输入的相似矩阵的生成方式构建数据点的相似矩阵S；根据相似矩阵S构建邻接矩阵W，构建度矩阵D；计算出拉普拉斯矩阵L；构建标准化后的拉普拉斯矩阵D^−1/2LD^−1/2；计算D^−1/2LD^−1/2最小的k₁个特征值所各自对应的特征向量f；将各自对应的特征向量f组成的矩阵按行标准化，最终组成n×k₁维的特征矩阵F；对特征矩阵F中的每一行作为一个k₁维的数据点，共n个数据点，用输入的聚类方法进行聚类，聚类维数为k₂；得到簇划分C(c₁,c₂,...c_k2)。