[发明专利]一种基于智能运维平台大数据的数据采集方法

说明书

本发明涉及一种基于智能运维平台大数据的数据采集方法，智能运维平台对多种类型设备进行数据采集，所述采集的数据包括结构化的数据、非结构化和/或半结构化的数据，将采集的数据均进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储到数据库，定义并存储所有数据对象信息和数据对象，根据数据之间的紧密程度进行聚类，对聚类后的数据实现雷达图，在雷达图上显示不同设备对应的数据，进而与标准数据相对比，获得多种设备的故障，告警所关联的项目信息，预先通知系统记录的具体处理人进行告警故障处理，实现不同设备的快速处置和分析预测，能及时发现多种类型设备的故障，方便平台统一告警管理。

技术领域

本发明涉及数据采集技术领域，具体为一种基于智能运维平台大数据的数据采集方法。

背景技术

智能运维是一种将人工智能(AI)、机器学习(ML)或其他高级分析技术应用于业务和运营数据以建立关联并实时提供规范性和预测性答案的软件。这些洞察力产生实时的业务绩效KPI，使团队能够更快地解决事件，并帮助完全避免事件。

智能运维平台通过“监、管、控、智”助力运维及时预警、快速定位、故障自愈，保障业务系统的可用性，现有的智能运维平台不方便对不同设备相关信息数据进行分类分析处理，不能及时发现多种设备的故障，不能及时告警所关联的项目信息，不能统一地预先通知系统记录的具体处理人进行告警故障处理，无法可视化掌控设备相关态势，提前部署消除安全隐患，统筹管理困难，服务管理效率较低。

发明内容

本发明的目的在于提供一种基于智能运维平台大数据的数据采集方法，以解决不同设备的统筹管理困难，服务管理效率低的问题。

本发明提供了一种基于智能运维平台大数据的数据采集方法，其特征在于，包括以下步骤：

S1、智能运维平台进行数据采集，所述数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台；智能运维平台对采集的数据进行分析，所述采集的数据包括结构化的数据、非结构化和/或半结构化的数据；

S2、将结构化的数据进行标准化处理得到统一的标准数据；将非结构化或半结构化的数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储到数据库，将所有的标准数据按照数据类型的属性，定义并存储所有数据对象信息和数据对象；

S3、将存储在数据库中的无用的标准数据过滤并剔除，将大量的标准数据分类并进行管理；根据数据之间的紧密程度进行聚类，通过数据的密度来考虑数据之间的可连接性；

S4、对数据进行离线的智能化分析，对聚类后的数据形成雷达图，在雷达图上显示不同设备对应的数据，进而与标准数据相对比，获得多种设备的故障，告警所关联的项目信息，预先通知系统记录的具体处理人进行告警故障处理。

进一步地，在所述步骤S1中，所述智能运维平台对设备进行数据采集为多种类型设备通过SNMP、TCP或HTTP协议将指标数据上报给智能运维平台，收集智能运维平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用；同时在智能运维平台的采集端部署大量数据库，并在这些数据库之间进行负载均衡和分片。

进一步地，所述步骤S1中的数据采集具体为，通过网络爬虫从一个或若干个初始网页的URL开始，获得各个网页上的内容，并且在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足设置的停止条件为止；在各个网页上收集相关数据将结构化的数据、非结构化和/或半结构化的数据从网页中提取出来。

进一步地，在所述步骤S2中，将结构化的数据进行标准化处理得到统一的标准数据，将从网页中提取出来的非结构化数据和/或半结构化数据进行结构化处理，然后进行标准化处理，得到统一的标准数据；将所有的标准数据统一存储在本地的存储系统中。

进一步地，在所述步骤S2中，数据的标准化处理是通过归一化对所有数据点进行处理获得归一化数据点值，将所有数据定义为不同数据点，设定核心数据点阈值为Z，计算归一化数据点值z，z的计算方式为：