[发明专利]基于Spark的大数据网络日志采集分析和预警的方法、系统

权利要求书

1.一种基于Spark的大数据网络日志采集分析和预警系统，其特征在于，包括：

日志原始文件获取模块(101)：采集日志原始文件；

日志采集模块(102)：根据所述日志原始文件获得日志数据；

日志存储模块(103)：存储日志数据；

数据逻辑处理模块(104)：进行日志数据分析，得到日志分析结果；

分析结果存储模块(105)：存储日志分析结果；

可视化展示和预警模块(106)：读取所述日志分析结果，展示所述日志分析结果或/和发出运维预警提示。

2.根据权利要求1所述的基于Spark的大数据网络日志采集分析和预警系统，其特征在于，日志原始文件包括Tomcat应用日志、系统日志、外部接口日志，所述日志原始文件记录了原始信息；

原始信息包括网站原始的访问信息，还包括操作系统信息、CPU信息、内存信息、硬盘信息，以及外部接口调用时间响应信息。

3.根据权利要求2所述的基于Spark的大数据网络日志采集分析和预警系统，其特征在于，日志采集模块(102)采用Apache Flume技术采集日志数据，在Flume集群中，以代理Agent作为一个独立运行的最小单位，所述代理Agent包括：传输数据源Source、传输通道Channel、数据汇聚点Sink，所述数据汇聚点Sink包括Kafka消息集群数据汇聚点KafkaSink和HDFS分布式文件系统数据汇聚点HDFS Sink；

将实时数据通过第一传输通道Channel A传输给Kafka Sink，将离线数据通过第二传输通道Channel B传输给HDFS Sink；

在日志存储模块(103)将Kafka Sink的实时数据发送到Kafka消息集群；将HDFS Sink的离线数据发送到HDFS分布式文件系统。

4.根据权利要求3所述的基于Spark的大数据网络日志采集分析和预警系统，其特征在于，数据逻辑处理模块(104)采用实时流式计算框架Spark Streaming接收Kafka消息集群中的实时数据，将实时数据划分成批次后转给Spark计算引擎处理，按批次生成结果流，判断所述实时分析数据是否达到第一预设阈值或/和第二预设阈值：

--若达到第一预设阈值且未达到第二预设阈值，则判定记为一般预警数据；

--若达到第二预设阈值，则判断记为重大预警数据；

--否则，则判断记为正常数据；

输出实时分析数据；

采用Spark进行离线数据分析处理，读取HDFS分布式文件系统中存储的离线数据，在Spark计算引擎中进行SQL统计分析，判断所述离线分析数据是否达到第一预设阈值或/和第二预设阈值：

--若达到第一预设阈值且未达到第二预设阈值，则判定记为一般预警数据；

--若达到第二预设阈值，则判断记为重大预警数据；

--否则，则判断记为正常数据；

输出离线分析数据；

分析结果存储模块(105)将所述实时分析数据和离线分析数据存储到Redis缓存和MySQL关系数据库中。

5.根据权利要求4所述的基于Spark的大数据网络日志采集分析和预警系统，其特征在于，可视化展示和预警模块(106)读取Redis缓存和MySQL关系数据库中的实时分析数据和离线分析数据；

对于实时分析数据、离线分析数据：

--若为一般预警数据，调用web显示一般预警信息；所述运维预警提示包括一般预警信息；

--若为重大预警数据，调用web发送重大预警信息；所述运维预警提示包括重大预警信息；

--否则，则不进行预警。