[发明专利]一种基于Hadoop的网络安全事件分析方法

摘要

本发明公开了一种基于Hadoop的网络安全事件分析方法，利用hadoop在海量数据处理上具有的高效、高容错、高扩展和高可靠性以及开源的特点，采用HDFS的高容错性、高伸缩性优点，允许用户将Hadoop部署在普通低廉的硬件上，形成分布式系统；MapReduce提供开发并行应用程序，在集群上实现分布式计算和并行任务处理；HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，数据采集系统从各个网络安全设备采集网络安全事件信息并生成数据文件，使用API或命令将它们存入HDFS，数据由HDFS在多个普通硬件资源的节点上分布式存储，然后使用MapReduce对事件信息进行分析并输出分析结果进行展示MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成Hadoop分布式集群的主要任务。

主权项

一种基于Hadoop的网络安全事件分析方法，其特征在于：利用hadoop在海量数据处理上具有的高效、高容错、高扩展和高可靠性以及开源的特点，采用HDFS的高容错性、高伸缩性优点，允许用户将Hadoop部署在普通低廉的硬件上，形成分布式系统；MapReduce提供开发并行应用程序，在集群上实现分布式计算和并行任务处理；HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，数据采集系统从各个网络安全设备采集网络安全事件信息并生成数据文件，使用API或命令将它们存入HDFS，数据由HDFS在多个普通硬件资源的节点上分布式存储，然后使用MapReduce对事件信息进行分析并输出分析结果进行展示MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成Hadoop分布式集群的主要任务。