[发明专利]日志模板提取方法及装置

权利要求书

1.一种日志模板提取方法，其特征在于，所述方法包括：

确定日志的多行日志记录中每行日志记录的局部敏感哈希码；

确定至少一个第一日志记录组，不同所述第一日志记录组包括所述日志中的不同行日志记录；每个所述第一日志记录组包括的所有日志记录具有相同的局部敏感哈希码；

通过对所述至少一个第一日志记录组中每个所述第一日志记录组进行处理，得到所述日志的日志模板。

2.根据权利要求1所述的方法，其特征在于，所述确定日志的多行日志记录中每行日志记录的局部敏感哈希码，包括：

获取所述日志中每行日志记录的至少一个词条；

基于所述每行日志记录的至少一个词条，确定所述每行日志记录的局部敏感哈希码。

3.根据权利要求2所述的方法，其特征在于，每个所述词条包括m个语义单元，m为大于1的整数，所述语义单元为单词或符号，对于包括至少两个词条的日志记录，每两个相邻的词条中第一词条的后m-1个语义单元与第二词条的前m-1个语义单元相同，所述第一词条为所述第二词条的前一个词条。

4.根据权利要求1至3任一所述的方法，其特征在于，所述确定日志的多行日志记录中每行日志记录的局部敏感哈希码，包括：

将所述日志中每行日志记录中的p个指定字符替换为q个固定字符，得到更新的每行日志记录，1≤q＜p；

基于所述更新后的每行日志记录，确定所述每行日志记录的局部敏感哈希码。

5.根据权利要求2或3所述的方法，其特征在于，所述基于所述每行日志记录的至少一个词条，确定所述每行日志记录的局部敏感哈希码，包括：

基于第一日志记录的多个词条，以及为每个所述词条分配的权值，确定所述第一日志记录的局部敏感哈希码，所述第一日志记录为所述日志的多行日志记录中包括多个词条的任一日志记录，所述第一日志记录中包括的至少两个词条的权值互不相同，每个词条的权值基于所述词条在所述第一日志记录中的位置确定。

6.根据权利要求1至5任一所述的方法，其特征在于，所述确定至少一个第一日志记录组，包括：

基于所述日志中的每行日志记录的局部敏感哈希码以及所述每行日志记录的目标特征，对所述日志中的多行日志记录进行分组，得到所述至少一个第一日志记录组。

7.根据权利要求1至6任一所述的方法，其特征在于，所述通过对所述至少一个第一日志记录组中每个第一日志记录组进行处理，得到所述日志的日志模板，包括：

分别提取每个所述第一日志记录组中的日志模板；

基于每个所述第一日志记录组的日志模板，确定所述日志的日志模板。

8.根据权利要求7所述的方法，其特征在于，所述分别提取每个所述第一日志记录组中的日志模板，包括：

对于每个所述第一日志记录组中的每行日志记录，将所述日志记录与所述第一日志记录组的历史日志模板进行比较；

当所述日志记录与所述历史日志模板匹配，基于所述日志记录与所述历史日志模板，确定所述第一日志记录组的新的日志模板；

当所述日志记录与所述历史日志模板不匹配，将从所述日志记录提取的日志模板，添加为所述第一日志记录组的新的日志模板。

9.根据权利要求7所述的方法，其特征在于，所述基于每个所述第一日志记录组的日志模板，确定所述日志的日志模板，包括：

对所述至少一个第一日志记录组的日志模板进行聚类处理，得到所述日志的日志模板；

或者，对所述至少一个第一日志记录组的日志模板进行合并处理，得到所述日志的日志模板；

或者，将所述至少一个第一日志记录组的日志模板，作为所述日志的日志模板。