[发明专利]创建日志模板的方法和装置、日志分析方法

说明书

本公开提供了一种创建日志模板的方法，包括：获取并处理至少一个日志，其中每个日志包括所述日志的标识和内容；将具有相同标识的日志聚类为一组，以形成至少一个日志组；对每个日志组中日志的内容执行过滤和矩阵化，以获得m×n的内容矩阵，其中m为所述日志组所包括的日志的数量，n为所述日志组的内容中的单词的种类数，m和n为大于或等于1的整数；针对每个日志组，利用所述内容矩阵确定所述日志组的内容中的单词是常量还是变量；以及基于针对所述日志组中单词的确定结果，创建与所述日志组对应的日志模板。本公开还提供了一种创建日志模板的装置、一种电子设备以及一种计算机可读存储介质。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种创建日志模板的方法和装置、管理日志模板数据库的方法和分析日志的方法。

背景技术

随着网络技术的日益发展，大数据处理在各领域的应用中越来越重要。日志分析是大数据的一个重要的应用方向。但是，目前的日志分析方法往往从感兴趣特征词的单一角度执行分析，而对相同种类日志内部可变的部分分析不够彻底，导致丢失了很大一部分信息，无法实现全面分析日志的目的。

发明内容

本公开的一个方面提供了一种创建日志模板的方法，所述方法可以包括：获取并处理至少一个日志，其中每个日志包括所述日志的标识和内容；将具有相同标识的日志聚类为一组，以形成至少一个日志组；对每个日志组中日志的内容执行过滤和矩阵化，以获得m× n 的内容矩阵，其中m为所述日志组所包括的日志的数量，n为所述日志组的内容中的单词的种类数，m和n为大于或等于1的整数；针对每个日志组，利用所述内容矩阵确定所述日志组的内容中的单词是常量还是变量；以及基于针对所述日志组中单词的确定结果，创建与所述日志组对应的日志模板。

在一个示例中，利用所述内容矩阵确定所述日志组的内容中的单词是常量还是变量可以包括：

相对于所述日志组中的每个日志，根据所述内容矩阵计算每个单词的词频-逆向文件频率值TF-IDF，以及将每个单词的TF-IDF与所述日志的平均TF-IDF值进行比较，其中如果所述单词的TF-IDF大于所述平均TF-IDF值，则所述单词被确定为在所述日志中的常量，否则被确定为在所述日志中的变量；

相对于所述日志组，统计所述单词被确定为常量的常量确定次数和被确定为变量的变量确定次数；以及基于所述常量确定次数和所述变量确定次数，确定所述单词是针对所述日志组的常量还是变量。

在另一示例中，基于所述常量确定次数和所述变量确定次数，确定所述单词是针对所述日志组的常量还是变量可以包括：计算所述常量确定次数与所述变量确定次数的比值；将所述比值与预定阈值进行比较；以及响应于所述比值大于等于预定阈值，将所述单词确定为针对所述日志组的常量，否则将所述单词确定为针对所述日志组的变量。

在另一示例中，所述日志的平均TF-IDF值可以是通过计算所述日志中的单词的TF-IDF的平均值而得到的。

在另一示例中，所述TF-IDF可以是经标准化的TF-IDF，其中所述经标准化的TF-IDF是通过相对于内容矩阵所包括的每个向量计算 TF-IDF值的欧几里得范数而得到的。

在另一示例中，创建与所述日志组对应的日志模板可以包括：将所述日志模板表示为正则匹配字符串。

本公开的另一方面提供了一种管理日志模板数据库的方法，可以包括：获取并处理待处理日志，其中所述待处理日志包括标识和内容；根据所述标识，确定日志模板数据库中是否包括与所述标识相对应的日志模板；以及基于确定结果管理日志模板数据库，其中所述日志模板数据库中的日志模板是根据上述示例实施例所述的方法而创建的。

在一个示例中，基于确定结果管理日志模板可以包括：响应于确定所述日志模板数据库中不包括对应日志模板，基于所述内容创建针对所述标识的日志模板。