[发明专利]一种用于大数据平台的联动分析系统及方法

说明书

本发明公开了一种用于大数据平台的联动分析系统及方法，属于大数据平台监控领域，要解决的技术问题为如何实现主机操作系统、数据库、应用程序等大数据平台多个层面的联动分析。分析系统包括：事件定义模块，用于定义异常事件，并设定用于判断是否触发异常事件的状态规则；数据采集模块，用于采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；联动分析模块，用于以异常事件为驱动，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告；数据存储模块，用于存储。方法为通过上述分析系统，结合大数据平台的各个层面对异常事件进行联动分析。

技术领域

本发明涉及大数据平台监控领域，具体地说是一种用于大数据平台的联动分析系统及方法。

背景技术

随着互联网+时代的到来，各行各业的数据都产生了爆炸式的增长，如何让数据更有价值，发掘、分析这些海量数据使之间的相互作用形成有价值的信息，是每个企业重点关注的内容之一，通过大数据平台对海量数据进行发掘分析。

大数据平台的复杂性，平台架构及组件的开源性、开放性，以及众多第三方应用的开发，给大数据平台造成了潜在的性能负担。而日常的运维平台比较分散，有些仅涉及主机，有些仅涉及数据库，有些只涉及到应用程序，这样在大数据平台运维时就会面临一个问题，如：在主机资源使用正常的情况下，某些应用的服务异常，或者响应时间过长不能正常访问，或者当应用程序异常时想关联查看该时刻的主机CPU、内存、磁盘IO、网络等资源的使用，都没有有效的联动手段。

基于上述，如何实现主机操作系统、数据库、应用程序等大数据平台多个层面的联动分析，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种用于大数据平台的联动分析系统及方法，来解决如何实现主机操作系统、数据库、应用程序等大数据平台多个层面的联动分析的问题。

第一方面，本发明提供一种用于大数据平台的联动分析系统，用于对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，所述层面包括主机操作系统、数据库、应用程序、中间件和大数据组件；所述分析系统包括：

事件定义模块，用于定义异常事件，并设定用于判断是否触发异常事件的状态规则；

数据采集模块，用于采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；

联动分析模块，用于以异常事件为驱动，抓取与所述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告；

数据存储模块，用于存储监控数据、事件、状态规则、事件数据、联动数据以及诊断报告。

作为优选，所述数据采集模块还用于采集每个层面的日志文件；

所述分析系统还包括数据清洗模块，数据清洗模块用于对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件；

所述日志文件以及清洗后日志文件均存储于数据存储模块，且每个层面对应的监控数据和清洗后日志文件组成新日志文件。

作为优选，所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗。

作为优选，所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗，包括：

用于对主机操作系统、数据库和中间件的日志文件进行数据筛选，将无价值的垃圾数据清除，并上述筛选后日志文件中数据格式化为统一格式；