[发明专利]日志处理方法、装置、电子设备和存储介质

说明书

本公开提供了一种日志处理方法、装置、电子设备和存储介质，可以应用于计算机技术领域。该方法包括：利用预定字段信息对关于信息采集节点的待处理日志进行识别，得到识别结果；在识别结果用于表征待处理日志中包括预定字段信息的情况下，基于信息采集节点的属性信息和待处理日志，生成目标日志，其中，预定字段信息用于表征待处理日志为故障报警日志；以及在确定同类型的目标日志的数量满足预定数量阈值的情况下，对目标日志进行处理，得到目标处理结果。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种日志处理方法、装置、电子设备和存储介质。

背景技术

随着基于日志的运营分析，智能巡检等功能的发展，日志的重要性不断提升，对日志的监控与分析显得越来越重要。目前，主流日志采集系统主要基于ELK(ElasticsearchLogstash Kibana)技术栈或者替换其中某些组件实现。这种日志采集系统可能会存在采集链路中的日志数据丢失的问题。通常会对日志采集系统进行监控，以便及时的发现存在的日志丢失等问题。

在实行本公开的构思过程中，发明人发现相关技术中至少存在如下问题：现有监控方法存在生成的监控结果的数据量大，处理效率低下，并且分析和处理不精确的问题。

发明内容

有鉴于此，本公开提供了一种日志处理方法、装置、电子设备、存储介质和计算机程序产品。

本公开的一个方面提供了一种日志处理方法，包括：

利用预定字段信息对关于信息采集节点的待处理日志进行识别，得到识别结果；

在上述识别结果用于表征上述待处理日志中包括上述预定字段信息的情况下，基于上述信息采集节点的属性信息和上述待处理日志，生成目标日志，其中，上述预定字段信息用于表征上述待处理日志为故障报警日志；以及

在确定同类型的上述目标日志的数量满足预定数量阈值的情况下，对上述目标日志进行处理，得到目标处理结果。

根据本公开的实施例，上述目标处理结果包括用于表征故障原因的第一处理结果。上述对上述目标日志进行处理，得到目标处理结果，包括：基于上述预定字段信息和第一映射关系，确定上述第一处理结果，其中，上述第一映射关系用于表征字段信息与故障原因之间的映射关系。

根据本公开的实施例，上述目标处理结果包括用于表征故障容器的第二处理结果。上述对上述目标日志进行处理，得到目标处理结果，包括：从上述目标日志中确定信息采集节点的容器标识；以及基于上述容器标识，确定上述第二处理结果。

根据本公开的实施例，上述目标处理结果包括用于表征信息源的第三处理结果。上述对上述目标日志进行处理，得到目标处理结果，包括：从上述目标日志中确定信息采集节点的容器标识；基于上述容器标识，确定信息采集节点标识；基于第二映射关系以及上述信息采集节点标识，确定与上述信息采集节点标识相匹配的目标存储空间，其中，上述第二映射关系用于表征节点标识和存储空间之间的映射关系；以及确定与上述目标存储空间相匹配的信息源，并将上述信息源作为上述第三处理结果。

根据本公开的实施例，上述利用预定字段信息对关于信息采集节点的待处理日志进行识别，得到识别结果，包括：按照预定频次，从配置管道中获取关于上述信息采集节点的上述待处理日志；对上述待处理日志进行关键词匹配，得到匹配结果；以及基于上述匹配结果，得到上述识别结果。

根据本公开的实施例，上述日志处理方法还包括：基于上述目标处理结果，生成报警信息。

根据本公开的实施例，上述日志处理方法还包括：确定上述预定字段信息的故障报警类别；以及按照与上述故障报警类别相匹配的分类模式，对上述目标日志进行分类，得到同类型的上述目标日志的数量。

根据本公开的实施例，上述属性信息包括以下至少一项：信息采集节点的容器标识、物理机标识、应用标识。