[发明专利]一种基于大数据的可视化网络安全监控方法

摘要

一种基于大数据的可视化网络安全监控方法，该方法包括如下步骤首先通过信息采集模块收集网络数据，然后通过Flume把经过信息采集模块初步处理的网络数据发送到Kafka数据分发集群；Kafka数据分发集根据不同的信息采集模块分发不同类型的网络数据至Storm数据分析集群；Storm集群对所有的网络数据进行安全分析处理，然后通过Topologies将处理后的数据发送到Kafka集群；Kafka集群接收到Storm分析处理后的数据后，根据Enrichment Topic模块分发至Storm数据分析集群；Storm集群接收到Kafka分发的处理后的数据后，进行网络安全数据的实时分析，最后将最终的分析数据分别存储到HDFS和Elasticsearch中供前端应用进行分析和展示。本发明可以全面、快速、准确的感知过去、现在、未来的安全威胁，实时了解网络的安全态势。

主权项

一种基于大数据的可视化网络安全监控方法，其特征在于：该方法包括如下步骤：步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：Web代理日志、路由器的防火墙日志、VPN身份证验证日志、Windows安全日志以及SYSLOG数据等，然后通过Flume把经过信息采集模块初步处理的网络数据发送到Kafka数据分发集群；步骤102：Kafka数据分发集群接收到网络数据后，根据不同的信息采集模块分发不同类型的网络数据至Storm数据分析集群，并匹配Flume与Strom数据分析集群之间的数据处理速度；步骤103：Storm数据分析集群接收到Kafka数据分发集群分发的网络数据后，对所有的网络数据进行安全分析处理，然后通过Topologies(互联网络拓扑结构)将处理后的数据发送到Kafka数据分析集群；步骤104：Kafka数据分析集群接收到Storm分析处理后的数据后，根据Enrichment Topic模块分发至Storm数据分析集群；步骤105：Storm集群接收到Kafka数据分析集群分发的处理后的数据后，根据现有的机器学习及深度神经网络技术，进行网络安全数据的实时分析，最后将最终的分析数据分别存储到HDFS(分布式文件系统)和Elasticsearch中供前端应用进行分析和展示。