[发明专利]基于ELK的可视化网络日志分析监控平台

说明书

本发明涉及基于ELK的可视化网络日志分析监控平台，属于网络日志分析监控技术领域。该平台包括日志实时收集模块，用于收集设备的日志数据，并以日期加设备IP地址命名；所述的设备包括路由器、交换机、防火墙；日志处理模块，用于对日志实时收集模块采集的日志数据进行解析；日志检索及日志存储模块，用于通过集群的方式对各网络分区的日志信息建立索引，并对日志处理模块解析的日志信息进行检索及存储；日志展示模块，用于对日志检索及日志存储模块检索的日志信息进行展示及分析。

技术领域

本发明属于网络日志分析监控技术领域，具体涉及一种基于ELK的可视化网络日志分析监控平台。

背景技术

近年来，随着网络的发展和普及，互联网浪潮正给人们的生产和生活带来巨大的改变，网络设备每天产生大量的网络日志，网络日志是很多企业IT管理员查找网络漏洞的重要依据，这些数据对于网络安全至关重要。网络安全日志的管理分析是一种在安全领域极为重要的防御手段。通过对多源异构的网络日志分析及风险评估，充分利用日志可以帮助及时发现潜在的风险和安全漏洞。但要利用这些网络日志存在一些问题，如开发人员不能登录线上服务器查看详细日志，日志数据分散难以查找，日志数据量大，查询速度慢，或者数据不够实时。即网络安全设备日志具有海量性、复杂性和时空关联性等特点，传统的网络安全日志分析技术越来越难以满足海量日志在采集、存储、预处理和分析等方面的需求。因此如何克服现有技术的不足是目前网络日志分析监控技术领域亟需解决的问题。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种基于ELK的可视化网络日志分析监控平台。

为实现上述目的，本发明采用的技术方案如下：

基于ELK的可视化网络日志分析监控平台，包括：

日志实时收集模块，用于收集设备的日志数据，并以日期加设备IP地址命名；所述的设备包括路由器、交换机、防火墙；

日志处理模块，用于对日志实时收集模块采集的日志数据进行解析；

日志检索及日志存储模块，用于通过集群的方式对各网络分区的日志信息建立索引，并对日志处理模块解析的日志信息进行检索及存储；

日志展示模块，用于对日志检索及日志存储模块检索的日志信息进行展示及分析。

进一步，优选的是，日志实时收集模块具体为：在每一台路由器、交换机、防火墙上配置日志服务器的地址及端口；路由器、交换机、防火墙产生的日志从路由器、交换机、防火墙发送到日志服务器，在日志服务器上，对这几种不同类型设备的日志以日期加设备IP地址命名。

进一步，优选的是，网络分区包括测试区、生产区、运行管理区和用户区；

日志服务器安装filebeat软件，通过配置其配置文件filebeat.yml，配置tags字段及paths字段对不同网络分区的日志进行区分，如生产区配置为tages:op_fw，用户区配置为tages:lu_fw，测试区配置为tages:dt_fw，运行管理区配置为tages:om_fw；输出地址配置为logstash的地址，使用filebeat在日志数据存储的目录上收集日志事件，filebeat的每个收集器读取单个日志来获取新的日志数据更新，filebeat将每个收集器聚集后的数据发送到filebeat配置的输出，最后，filebeat将输出转发到日志处理模块。

进一步，优选的是，通过Logstash的配置文件对filebeat转发的日志进行解析。

进一步，优选的是，日志检索及日志存储模块通过Elasticsearch对Logstah发送的日志信息进行检索及存储

进一步，优选的是，日志处理模块将所需要的字段解析出来，并对字段重命名。

进一步，优选的是，日志处理模块解析时，采用Grok表达式来对日志数据的多种格式进行匹配及解析。