[发明专利]基于网络日志的大数据分析系统

说明书

本发明提供一种基于网络日志的大数据分析系统，本发明包括采集层、存储层、业务层和显示层：采集层，用于从目标网络中获取日志记录文件，将获取到的日志记录文件发送给存储层；存储层，用于接收采集层发送来的日志记录文件并进行分布式存储；业务层，用于从存储层中获取日志记录文件，对所述日志记录文件进行统计分析，将所述统计分析结果发送给显示层；显示层，用于接收业务层发送来的统计分析结果并展示。本发明对获取到的日志记录文件进行分布式存储，同时基于大数据分析技术对存储的日志记录文件进行统计分析，相比传统的单机技术具有存储安全、分析快速的有益效果。

技术领域

本发明涉及计算机网络技术领域，更具体地，涉及基于网络日志的大数据分析系统。

背景技术

随着信息化建设的快速发展，电信运营商的ICT(信息通信技术)的快速融合，流量需求迅猛增长，运营商网络中积累了大量的软硬件资源，包括：交换机，路由器，防火墙，服务器等。网络设备承载的负荷越来越大，执行的业务越来越复杂。这些设备持续不断地记录了大量的日志。日志文件作为硬件设备、系统和用户行为的记录工具，在监控网络运行情况、调查设备故障、保护系统安全等方面有着举足轻重的作用。通过分析日志文件，能够获取有关设备故障、用户异常行为、网络运行状况等信息，有利于及时处置网络安全事件和软硬件故障，保证网络的稳定性和安全性。

现有的计算机网络中，日志源众多、格式不一、体量庞大，长期存储的数据量可达TB或者PB级别。传统的日志分析系统使用单机技术处理海量数据，在存储和计算两方面都遇到了瓶颈。

发明内容

为了解决上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的基于网络日志的大数据分析系统。

根据本发明实施例的第一方面，提供了一种大数据分析系统，包括采集层、存储层、业务层和显示层：

采集层，用于从目标网络中获取日志记录文件，将获取到的日志记录文件发送给存储层；

存储层，用于接收采集层发送来的日志记录文件并进行分布式存储；

业务层，用于从存储层中获取日志记录文件，对所述日志记录文件进行统计分析，将所述统计分析结果发送给显示层；

显示层，用于接收业务层发送来的统计分析结果并展示。

进一步，所述系统还包括日志源层，由目标网络中的软硬件构成，用于提供采集层获取的日志记录文件。

进一步，所述采集层还用于：

对获取到的大小小于预设阈值的日志记录文件合并成大文件后再发送给存储层。

进一步，所述业务层还用于将所述统计分析结果发送给存储层；

相应的，所述存储层还用于存储所述统计分析结果。

进一步，所述存储层基于HDFS分布式文件系统实现日志记录文件的分布式存储。

进一步，所述存储层中还包括基于HDFS分布式文件系统的HBase开源数据库，用于存储结构化和半结构化的日志记录文件和/或所述统计分析结果。

进一步，所述业务层进一步用于基于以下中的至少一种实现对所述日志记录文件的定制化统计分析：MapReduce作业、Streaming作业和Hive作业。

进一步，所述业务层所用于对所述日志记录文件进行统计分析的数据挖掘算法需要基于MapReduce编程模型重新设计实现。

进一步，采集层进一步用于：基于Syslog日志服务器从目标网络中获取日志记录文件。

进一步，所述业务层进一步用于：基于MapReduce中Map函数对于存储在HDFS中的日志记录文件中每一行日志记录文件进行分析，获取申请访问目标服务器的IP；