[发明专利]一种用于大数据平台的联动分析系统及方法

权利要求书

1.一种用于大数据平台的联动分析系统，其特征在于用于对大数据平台进行层面监控，并结合大数据平台的各个层面对异常事件进行联动分析，所述层面包括主机操作系统、数据库、应用程序、中间件和大数据组件；所述分析系统包括：

事件定义模块，用于定义异常事件，并设定用于判断是否触发异常事件的状态规则；

数据采集模块，用于采集每个层面的监控数据，并基于状态规则判断所述监控数据是否触发异常事件，将触发异常事件的监控数据标记为事件数据；

联动分析模块，用于以异常事件为驱动，抓取与所述异常事件相关的多个层面的事件数据，并通过时间线将上述多个层面的事件数据联动、并钻取每个层面的事件数据，汇总与所述异常事件对应的事件数据组成联动数据，并分析所述联动数据形成诊断报告；

数据存储模块，用于存储监控数据、事件、状态规则、事件数据、联动数据以及诊断报告。

2.根据权利要求1所述的一种用于大数据平台的联动分析系统，其特征在于所述数据采集模块还用于采集每个层面的日志文件；

所述分析系统还包括数据清洗模块，数据清洗模块用于对采集的日志文件进行格式转换，输出统一格式的清洗后日志文件；

所述日志文件以及清洗后日志文件均存储于数据存储模块，且每个层面对应的监控数据和清洗后日志文件组成新日志文件。

3.根据权利要求2所述的一种用于大数据平台的联动分析系统，其特征在于所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗。

4.根据权利要求3所述的一种用于大数据平台的联动分析系统，其特征在于所述数据清洗模块通过logstath组件对采集的日志文件进行数据清洗，包括：

用于对主机操作系统、数据库和中间件的日志文件进行数据筛选，将无价值的垃圾数据清除，并上述筛选后日志文件中数据格式化为统一格式；

对于应用程序的日志文件，用于对应用访问数据按照URL、请求时间、请求头、请求体、响应头、响应数据、响应时间、调用关系进行格式化。

5.根据权利要求1、2、3或4所述的一种用于大数据平台的联动分析系统，其特征在于所述数据采集模块通过编写的采集脚本按照频率采集每个层面的监控数据，所述采集脚本包括但不限于Shell脚本。

6.根据权利要求1、2、3或4所述的一种用于大数据平台的联动分析系统，其特征在于所述数据采集模块基于javaAgent和Java字节码注入技术采集每个层面的监控数据。

7.根据权利要求1、2、3或4所述的一种用于大数据平台的联动分析系统，其特征在于所述监控数据包括性能数据和运行状态。

8.根据权利要求7所述的一种用于大数据平台的联动分析系统，其特征在于所述主机操作系统的监控数据包括但不限于网络流量以及CPU、内存、磁盘、进程及网络的运行状态和性能数据；

所述数据库的监控数据包括但不限于数据库表空间、数据库磁盘以及数据库查询的运行状态和性能数据；

应用程序的监控数据包括但不限于URL、SQL查询、应用服务以及链路的运行状态和性能数据；

所述异常事件包括CPU异常、内存异常、磁盘异常、网络异常、进程异常、系统异常日志、数据库表空间异常、数据库磁盘异常、数据库异常日志、中间件使用异常、应用程序URL耗时、应用程序慢SQL、应用服务异常以及应用程序链路异常。