[发明专利]一种网络日志分析方法、装置、电子设备及存储介质

权利要求书

1.一种网络日志分析方法，其特征在于，包括：

通过采集内核实时获取网络设备的网络日志，并通过所述采集内核将获取的网络日志实时推送到分布式事件流平台；

使用所述分布式事件流平台采用消息队列对所述网络日志进行数据缓冲，获得缓冲后的网络日志；

使用分布式流数据流引擎实时对所述分布式事件流平台缓存的所述缓冲后的网络日志进行分析，获得分析结果。

2.根据权利要求1所述的方法，其特征在于，所述采集内核设置有分布式采集实例及对应的多个端口，所述获取网络设备的网络日志，包括：

通过分布式采集实例的不同端口接收所述网络设备通过预设协议发送的网络日志，所述分布式采集实例的一个端口对应一种厂商类型的网络设备；

根据所述分布式采集实例的不同端口对所述网络日志进行标记厂商类型，获得带厂商类型标记的所述网络设备的网络日志。

3.根据权利要求2所述的方法，其特征在于，所述使用分布式事件流平台采用消息队列对所述网络日志进行数据缓冲，包括：

将所述网络设备的网络日志输入到所述分布式事件流平台中的消息队列；

使用所述消息队列对所述网络设备的网络日志进行数据缓冲。

4.根据权利要求3所述的方法，其特征在于，所述使用分布式流数据流引擎对所述缓冲后的网络日志进行分析，包括：

使用所述分布式流数据流引擎从所述消息队列中获取所述缓冲后的网络日志；

使用正则表达式对所述缓冲后的网络日志进行告警类型匹配，获得多个告警类型；

分别统计所述多个告警类型在所述缓冲后的网络日志中出现的次数，获得多个告警次数；

根据所述多个告警次数进行告警压制分析，获得告警压制分析结果。

5.根据权利要求4所述的方法，其特征在于，在所述获得告警压制分析结果之后，还包括：

对所述告警压制分析结果进行隐性分析，获得隐性分析结果。

6.根据权利要求3所述的方法，其特征在于，所述使用分布式流数据流引擎对所述缓冲后的网络日志进行分析，包括：

使用所述分布式流数据流引擎从所述消息队列中获取所述缓冲后的网络日志；

对所述缓冲后的网络日志进行统一字段规范分析，获得字段规范标准化的日志数据。

7.根据权利要求6所述的方法，其特征在于，在所述获得字段规范标准化的日志数据之后，还包括：

将所述字段规范标准化的日志数据存储至数据库中；

通过应用系统程序从所述数据库中读取所述日志数据，并对所述日志数据进行分析和可视化输出。

8.一种网络日志分析装置，其特征在于，包括：

网络日志获取模块，用于通过采集内核实时获取网络设备的网络日志，并通过所述采集内核将获取的网络日志实时推送到分布式事件流平台；

网络日志缓冲模块，用于使用所述分布式事件流平台采用消息队列对所述网络日志进行数据缓冲，获得缓冲后的网络日志；

分析结果获得模块，用于使用分布式流数据流引擎实时对所述分布式事件流平台缓存的所述缓冲后的网络日志进行分析，获得分析结果。

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。