[发明专利]基于网络日志的大数据分析系统

权利要求书

1.一种大数据分析系统，其特征在于，包括采集层、存储层、业务层和显示层：

采集层，用于从目标网络中获取日志记录文件，将获取到的日志记录文件发送给存储层；

存储层，用于接收采集层发送来的日志记录文件并进行分布式存储；

业务层，用于从存储层中获取日志记录文件，对所述日志记录文件进行统计分析，将所述统计分析结果发送给显示层；

显示层，用于接收业务层发送来的统计分析结果并展示。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括日志源层，由目标网络中的软硬件构成，用于提供采集层获取的日志记录文件。

3.根据权利要求1所述的系统，其特征在于，所述采集层还用于：

对获取到的大小小于预设阈值的日志记录文件合并成大文件后再发送给存储层。

4.根据权利要求1所述的系统，其特征在于，所述业务层还用于将所述统计分析结果发送给存储层；

相应的，所述存储层还用于存储所述统计分析结果。

5.根据权利要求1或4所述的系统，其特征在于，所述存储层基于HDFS分布式文件系统实现日志记录文件的分布式存储。

6.根据权利要求1或4所述的系统，其特征在于，所述存储层中还包括基于HDFS分布式文件系统的HBase开源数据库，用于存储结构化和半结构化的日志记录文件和/或所述统计分析结果。

7.根据权利要求1所述的系统，其特征在于，所述业务层进一步用于基于以下中的至少一种实现对所述日志记录文件的定制化统计分析：MapReduce作业、Streaming作业和Hive作业。

8.根据权利要求7所述的系统，其特征在于，所述业务层所用于对所述日志记录文件进行统计分析的数据挖掘算法需要基于MapReduce编程模型重新设计实现。

9.根据权利要求1所述的系统，其特征在于，采集层进一步用于：基于Syslog日志服务器从目标网络中获取日志记录文件。

10.根据权利要求5所述的系统，其特征在于，所述业务层进一步用于：基于MapReduce中Map函数对于存储在HDFS中的日志记录文件中每一行日志记录文件进行分析，获取申请访问目标服务器的IP；

同时，基于MapReduce中Reduce函数对于存储在HDFS中的日志记录文件中每一行日志记录文件进行分析，获取所述各申请访问目标服务器的IP申请访问目标服务器的次数。