[发明专利]一种网络日志分析方法、装置、电子设备及存储介质

说明书

本申请提供一种网络日志分析方法、装置、电子设备及存储介质，该方法包括：获取网络设备的网络日志；使用分布式事件流平台对网络日志进行数据缓冲，获得缓冲后的网络日志；使用分布式流数据流引擎对缓冲后的网络日志进行分析，获得分析结果。在上述的实现过程中，通过采用专用的分布式事件流平台对流式数据进行缓冲，并采用专用的分布式流数据流引擎对缓冲的流式数据进行分析，从而有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，有效地应对突发的瞬间大量网络日志数据同时发送的情况。

技术领域

本申请涉及网络通信管理、自动化运维和网络日志分析的技术领域，具体而言，涉及一种网络日志分析方法、装置、电子设备及存储介质。

背景技术

简单网络管理协议(SNMP，Simple Network Management Protocol)构成了互联网工程工作小组(IETF，Internet Engineering Task Force)定义的Internet协议族的一部分，该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。

文件传输协议(File Transfer Protocol，FTP)，是指用于在网络上进行文件传输的一套标准协议，FTP协议是传输控制协议模型的第四层，即应用层，使用传输控制协议传输而不是用户数据报协议。

目前，现有的网络日志采集和分析通常是，采用SNMP陷阱(Trap)采集法或者FTP协议采集法来对网络日志进行采集后分析。其中，SNMP陷阱(Trap)采集法例如：SNMP协议中的被管设备主动发送向SNMP管理器发送日志信息，然后，SNMP管理器被动接收SNMP协议中的被管设备发送的日志信息。FTP协议采集法例如：通过FTP协议实现远程客户端的日志文件下载。然而，在具体的实践过程中发现，如果服务端遇到突发的瞬间大量网络日志数据同时发送的情况，服务端单位时间内接收到大量网络日志数据，就会导致服务器的资源被瞬间耗尽。也就是说，现有网络日志分析过程中的服务端难以应对突发的瞬间大量网络日志数据同时发送的情况。

发明内容

本申请实施例的目的在于提供一种网络日志分析方法、装置、电子设备及存储介质，用于改善难以应对突发的瞬间大量网络日志数据同时发送的情况的问题。

本申请实施例提供了一种网络日志分析方法，包括：通过采集内核实时获取网络设备的网络日志，并通过采集内核将获取的网络日志实时推送到分布式事件流平台；使用分布式事件流平台采用消息队列对网络日志进行数据缓冲，获得缓冲后的网络日志；使用分布式流数据流引擎实时对分布式事件流平台缓存的缓冲后的网络日志进行分析，获得分析结果。。在上述的实现过程中，首先，使用分布式事件流平台对网络日志进行数据缓冲，然后，使用分布式流数据流引擎对缓冲后的网络日志进行分析，获得分析结果。也就是说，通过采用专用的分布式事件流平台对流式数据进行缓冲，并采用专用的分布式流数据流引擎对缓冲的流式数据进行分析，从而有效地将突发的瞬间大量网络日志数据作为流式数据缓冲，且由于Flink节点可以匀速实时地消费处理Kafka的消息队列中缓冲的网络日志数据，可以根据具体情况增加Flink节点来增加对网络日志数据的实时处理能力，从而有效地应对突发的瞬间大量网络日志数据，处理不过来的情况。

可选地，在本申请实施例中，所述采集内核设置有分布式采集实例及对应的多个端口，获取网络设备的网络日志，包括：通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志，分布式采集实例的一个端口对应一种厂商类型的网络设备；根据分布式采集实例的不同端口对网络日志进行标记厂商类型，获得带厂商类型标记的标记后的网络日志。在上述的实现过程中，通过分布式采集实例的不同端口接收网络设备通过预设协议发送的网络日志，并根据分布式采集实例的不同端口对网络日志进行标记，由于一种厂商类型的网络设备传输至一个端口，上述的电子设备可以对该端口传输的网络日志进行协议方面的统一处理，从而实现统一不同厂商的日志格式，有效地改善了不同厂商设备产生的网络日志格式不统一的问题。