[发明专利]基于Spark的大数据网络日志采集分析和预警的方法、系统

说明书

本发明提供了一种基于Spark的大数据网络日志采集分析和预警的方法、系统，包括：日志原始文件获取模块(101)：采集日志原始文件；日志采集模块(102)：根据所述日志原始文件获得日志数据；日志存储模块(103)：存储日志数据；数据逻辑处理模块(104)：进行日志数据分析和并行计算，得到日志分析结果；分析结果存储模块(105)：存储日志分析结果；可视化展示和预警模块(106)：读取所述日志分析结果，展示所述日志分析结果或/和发出运维预警提示。本发明将实时处理和离线处理相结合，能够方便的对本网站相关信息快速分析和预警，避免花大量时间去寻找故障点，提高了运营效率，保障了网站的稳定和安全。

技术领域

本发明涉及计算机技术领域，具体地，涉及基于Spark的大数据网络日志采集分析和预警的方法、系统。

背景技术

目前，现有专利保护的方案中只提出了基于Hadopp/Hive技术进行离线数据的分析，而并未给出在线数据怎么采集和分析，以及怎么预警的方法。实际工作中，互联网企业在网络日志采集和分析中，会碰到实时数据流实时处理和离线数据批量处理两种方式，两种模式混合出现，所以要求我们的日志系统具备面对海量的网络日志能够进行实时处理和离线处理，具备高吞吐能力和高容错性。碰到紧急情况马上预警，让人工进行维护和干预。

例如，专利文献CN104298771A(申请号201410596395.6)公开了一种海量web日志数据查询与分析方法，其利用Hadoop/Hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性，包括以下步骤：对各个数据源的数据进行解析；将数据装载进数据仓库中；接收HiveQL语句；对接受语句进行优化，得到初步map结果；将接受语句转换成MapReduce任务执行并存储查询结果；数据分割；对数据进行分析挖掘；将数据装载进Mysql数据库中。该专利文献针对海量的web日志数据，实现精确地查询和数据分析，既能实现海量数据存储查询分析的可扩展性和高效性，也避免数据倾斜带来的job分布不均整体性能下降的问题。

该专利文献为利用Hadoop/Hive进行日志数据的采集和查询分析，只能进行离线数据的处理，未涉及大批量实时数据的处理，以及后续的预警展现和通知。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于Spark的大数据网络日志采集分析和预警的方法、系统。

根据本发明提供的一种基于Spark的大数据网络日志采集分析和预警的系统，包括：

日志原始文件获取模块：采集日志原始文件；

日志采集模块：根据所述日志原始文件获得日志数据；

日志存储模块：存储日志数据；

数据逻辑处理模块：进行日志数据分析，得到日志分析结果；

分析结果存储模块：存储日志分析结果；

可视化展示和预警模块：读取所述日志分析结果，展示所述日志分析结果或/和发出运维预警提示。

优选地，日志原始文件包括Tomcat应用日志、系统日志、外部接口日志，所述日志原始文件记录了原始信息；原始信息包括网站原始的访问信息，还包括操作系统信息、CPU信息、内存信息、硬盘信息，以及外部接口调用时间响应信息。

优选地，日志采集模块采用Apache Flume技术采集日志数据，在Flume集群中，以代理Agent作为一个独立运行的最小单位，所述代理Agent包括：传输数据源Source、传输通道Channel、数据汇聚点Sink，所述数据汇聚点Sink包括Kafka消息集群数据汇聚点KafkaSink和HDFS分布式文件系统数据汇聚点HDFS Sink；

将实时数据通过第一传输通道Channel A传输给Kafka Sink，将离线数据通过第二传输通道Channel B传输给HDFS Sink；