[发明专利]一种基于大数据的可视化网络安全监控方法

说明书

技术领域

本发明涉及网络安全监控技术领域，尤其是涉及一种基于大数据的可视化网络安全监控方法。

背景技术

在网络安全事件中，网络安全的检测和监控仅能及时检测出系统中发生的攻击威胁，从而缩短攻击发生的应急响应的时间差，但是即便是最理想的威胁检测系统，当发生威胁警报时，威胁大多已经发生，对系统的危害已经造成，因此检测永远只能作为一种相对被动的安全机制，而无法对网络安全事件及时作出预警；并且随着网络环境的日趋复杂，网络数据也在逐渐的增大，传统的SIEM很难处理多样化的非结构数据，影响对网络安全的及时检测，信息安全面临大数据带来的挑战；

因此，有必要提供一种新的技术方案以克服上述缺陷。

发明内容

本发明的目的在于提供一种可有效解决上述技术问题的基于大数据的可视化网络安全监控方法。

为达到本发明之目的，采用如下技术方案：

一种基于大数据的可视化网络安全监控方法，该方法包括如下步骤：

步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：Web代理日志、路由器的防火墙日志、VPN身份证验证日志、Windows安全日志以及SYSLOG数据等，然后通过Flume把经过信息采集模块初步处理的网络数据发送到Kafka数据分发集群；

步骤102：Kafka数据分发集群接收到网络数据后，根据不同的信息采集模块分发不同类型的网络数据至Storm数据分析集群，并匹配Flume与Strom数据分析集群之间的数据处理速度；

步骤103：Storm数据分析集群接收到Kafka数据分发集群分发的网络数据后，对所有的网络数据进行安全分析处理，然后通过 Topologies(互联网络拓扑结构)将处理后的数据发送到Kafka数据分析集群；

步骤104：Kafka数据分析集群接收到Storm分析处理后的数据后，根据Enrichment Topic模块分发至Storm数据分析集群；

步骤105：Storm集群接收到Kafka数据分析集群分发的处理后的数据后，根据现有的机器学习及深度神经网络技术，进行网络安全数据的实时分析，最后将最终的分析数据分别存储到HDFS(分布式文件系统)和Elasticsearch中供前端应用进行分析和展示。

与现有技术相比，本发明具有如下有益效果：本发明基于大数据的可视化网络安全监控方法通过大数据分析算法和可视化界面，以便用户能够直观的观察出来，并且实现对不同安全设备、IT系统的信息进行分析，以及对内部用户行为的监测，从而可以全面、快速、准确的感知过去、现在、未来的安全威胁，实时了解网络的安全态势；同时能够将网络安全态势进行可视化呈现，帮助用户快速掌握网络状况，识别网络异常、入侵，把握网络安全事件发展趋势，全方位感知网络安全态势，支撑逻辑拓扑层级结构，从全网的整体安全态势，到信息资产以及安全数据的监测，进行全方位态势监控；并且可以对所有的网络数据进行全量采集，这些数据分别通过Snort IDS、Bro IDS和Yaf IDS进行检测分析并通过项目中的数据收集模块分发到大数据技术分发集群上，经过处理后存储到HDFS 文件系统中，这些HDFS分布式文件系统可以根据客户的需求通过水平扩展存储器的方式进行数据文件的长期存储；本发明能满足实时大数据实时分析系统关键特性的架构，包括有：高容错、低延时和可扩展等，整合离线计算和实时计算，融合不可变性，读写分离和复杂性隔离等一系列原则，可集成Hadoop，Kafka，Storm， Spark，Hbase等各类大数据组件，将大数据实时分析系统划分为 Batch Layer,Speed Layer和Serving Layer三层，从而设计出一个能满足实时大数据分析系统的架构。

具体实施方式

本发明基于大数据的可视化网络安全监控方法包括如下步骤：

步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：Web代理日志、路由器的防火墙日志、VPN身份证验证日志、Windows安全日志以及SYSLOG数据等，然后通过Flume把经过信息采集模块初步处理的网络数据发送到Kafka数据分发集群；