[发明专利]一种智能运维多源数据采集可视化分析系统

说明书

本发明提供了一种智能运维多源数据采集可视化分析系统，包括步骤：Q1、多源化数据采集；Q2、数据分析；Q3、数据可视化。本发明可以对多源化数据，挖掘分析各项关键性数据指标，对各项运维指标进行分类管理，建立最优化策略进行数据指标多维分析、异常检测、容量规划、预测等更多场景的运维工作。

技术领域

本发明属于数据应用技术领域，具体涉及一种智能运维多源数据采集可视化分析系统。

背景技术

现有的运维工作大多是由运维人员手工完成的，运维人员又被称为系统管理员，运维人员负责的工作包括监控产品运行状态和性能指标、产品上线、变更服务等。

随着互联网的发展，产品的个数或者产品服务的用户规模呈线性增长，而运维人员的工作量和运维人员的数量也是随之增长，部分手工运维工作转为自动化运维，一些常见的重复性的运维工作可以通过自动化的脚本来实现；一部分自动化脚本用以监控分布式系统产生大量的日志以及各种类型的主机所产生的不同种类的数据。

但是现有技术的运维工作存在的缺点为：互联网的发展，系统运行中产生的大量不同类型的数据，采集各种类型的数据，并让这些数据对运维工作产生价值上存在着大量的运维工作并消耗大量的人力资源；同时运维监控存在大量数据的监控和分析，这也让运维工作在发现问题和查找问题的原因上消耗大量的人力资源，大量的、重复性的报警也导致了一些状况的误判，干扰运维中出现的问题原因的查找。

发明内容

根据上述阐述，本发明的目的在于提供一种智能运维多源数据采集可视化分析系统，基于互联网大数据时代，解决运维数据的多样化、数据的可视化、数据分析的技术问题。

本发明提供的技术方案：

一种智能运维多源数据采集可视化分析系统，包括如下步骤：

Q1、多源化数据采集，对数据源的数据进行采集，所述数据源包括监控/时间序列数据、资源配置管理数据、应用服务日志数据、各种设备日志数据多种类的数据，数据格式包括：结构化数据、半结构化数据、非结构化数据；针对不同数据源数据的数据格式通过数据模板、数据分析规则等进行模式匹配，利用数据规则模式匹配方法进行统一的格式转换，将转换后的数据保存到相应数据存储中，不占用核心业务的存储资源；

Q2、数据分析，通过定时任务定期对已存储的数据进行处理，包括对数据进行预处理，采用数据特征抽取、数据融合，通过对应用服务器、网络设备、日志服务器等设备的数据进行关联性分析，对数据进行重新组织，提取出数据关键性指标、以及数据的关联关系进而形成一个相应的数据关系图，根据数据统计特征、供给链的特征以及行为特征等，对数据分析的流程进行制定，最终形成数据分析模型，对数据进行多维度下钻分析，发现数据信息中存在的运维问题，找到问题的根本原因，最终完成对运维数据的分析并排查发生问题的根本原因；

Q3、数据可视化，在Q1中存储得到的数据基础上，通过Q2进行数据分析后，提取数据中各项分类：包括CPU、磁盘空间、内存、网络流量、日志关键词关键性指标，并针对相应的各项关键性指标数据进行实时监测，并对要监控的数据进行快速配置，按照先总体、后分项；先图形、后列表的方式进行可视化展示，对数据进行可视化监控。

本发明的有益效果：通过对运行的系统所产生的多种数据进行采集，统一转换，独立部署在网络中，并对监控/时间序列数据、资源配置管理数据、应用服务日志数据、各种设备日志数据等多源数据进行提取、预处理，对核心业务系统的正常运行影响较小；采用大数据的存储技术对采集后数据进行实时处理转化提供了基础性平台，并可以对多源数据进行统一的查询、检索，使用大数据可视化，让大量的数据信息通过可视化方法转化为连贯的态势图，可以进行观测、发现运维中异常指标数据，并直观把控运维工作的状况，本发明可以对多源化数据，挖掘分析各项关键性数据指标，对各项运维指标进行分类管理，建立最优化策略进行数据指标多维分析、异常检测、容量规划、预测等更多场景的运维工作。

具体实施方式