[发明专利]一种日志模板的确定方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种日志模板的确定方法、装置、电子设备及存储介质。日志模板的确定方法，包括：在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则；采用目标匹配规则，执行将待处理日志和日志模板库中的各日志模板进行匹配的操作；如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作；在确定使用全部匹配规则均未能获取与待处理日志匹配的日志模板时，将待处理日志作为新的日志模板加入至日志模板库中。本发明实施例的技术方案能够降低日志模板提取的计算复杂度，提高日志模板提取的通用性。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种日志模板的确定方法、装置、电子设备及存储介质。

背景技术

日志记录了系统运行期间大量的有价值的信息，系统的后期维护也是以查看日志为主要手段，日志在系统开发和运维过程中扮演了重要的角色。

其中，日志模板的提取是日志分析中非常重要的一环，通过提取日志的模板可以对日志进行聚类，使得同类日志属于相同模板。一般来说，正常日志占据了绝大部分，异常日志很少。通过模板进行聚类以后，运维人员可以将注意力集中于那些日志较少的模板上，快速找到想要的信息。除了能够对日志进行聚类以外，日志的模板提取还是基于数据驱动的日志分析的前置步骤，将半结构化的日志结构化，方便后续日志分析。比如提取出日志的模板后，可以进一步提取出变量。由于变量可能表明系统的某些运行指标，因此通过对变量的分析可以进行系统的异常检测。

但是传统的日志模板提取方法往往需要一个线下的训练过程。通常是收集系统运行初期一段时间内的运行日志，然后利用这些日志训练一个模型，最后将这个训练得到的模型用于线上日志的模板提取。但这种方法存在几个问题，(1)针对不同的系统都需要训练模型，这导致了模型训练较为繁琐，且计算复杂度较高的问题。(2)初期阶段收集到的日志不一定能够覆盖系统中所有事件对应的日志，例如，系统初期运行阶段不一定能够运行到所有可能的逻辑流。(3)系统通常是需要迭代更新的，更新极有可能导致日志的变化，而初期收集到的日志没有包含这些新的日志，模型无法对这些新日志进行分析预测，使得模型的通用性较差，易用性也大打折扣。

发明内容

本发明实施例提供一种日志模板的确定方法、装置、电子设备及存储介质，在不进行模型训练的前提下，降低了日志模板提取的计算复杂度，提高日志模板提取的通用性。

第一方面，本发明实施例提供了一种日志模板的确定方法，包括：

在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则；

采用目标匹配规则，执行将待处理日志和日志模板库中的各日志模板进行匹配的操作；

如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作；

在确定使用全部匹配规则均未能获取与待处理日志匹配的日志模板时，将待处理日志作为新的日志模板加入至日志模板库中。

第二方面，本发明实施例还提供了一种日志模板的确定装置，包括：

目标匹配规则获取模块，用于在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则；

匹配处理模块，用于采用目标匹配规则，执行将待处理日志和日志模板库中的各日志模板进行匹配的操作；

循环执行模块，用于如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作；