[发明专利]日志萃取方法及装置

权利要求书

1.一种基于单线程的日志萃取方法，包括：

(a)基于日志源创建日志队列；

(b)针对从日志队列中读取的日志，判断所读取的日志中是否存在数值型字符；

(c)在判断为该所读取的日志中存在数值型字符时，将该所读取的日志中的数值型字符的每一个都替换为一个预设的特殊字符；

(d)计算替换后的该所读取的日志与线程缓存器中存储的各日志之间的相似度；

(e)判断所计算出的相似度是否大于第一阈值，其中在所计算出的各相似度都不大于第一阈值时，将该所读取的日志添加到所述线程缓存器并作为要萃取的日志写入到日志全集中；以及

(f)针对从日志队列中读取的下一日志，重复进行步骤(a)到(e)，直到已经处理完所有日志为止。

2.如权利要求1所述的日志萃取方法，其中，在步骤(e)中还包括：

在至少一个所计算出的相似度大于第一阈值时，确定该所读取的日志是重复日志，并过滤掉该所读取的日志，然后执行步骤(f)。

3.如权利要求1所述的日志萃取方法，其中，在所述线程缓存器中缓存的日志数超过第二阈值时，清空所述线程缓存器。

4.如权利要求1所述的日志萃取方法，其中，所述第一阈值为80％。

5.一种基于多线程的日志萃取方法，包括：

(a)将所读取的日志集合分组为多组日志；

(b)针对多组日志中的各组日志，利用多线程同时判断各组日志中的每个日志是否是重复日志；

(c)在判断为该日志是重复日志时，从该组日志中删除该日志；

(d)将各组剩余的未被确定为是重复日志的日志组合为新的日志集合，并且预定次数地重复进行步骤(a)到(d)；

(e)将最后剩余的未被确定为重复日志的日志写入到日志全集中，

其中，针对各组日志中的每个日志判断该日志是否是重复日志的步骤还包括：

判断该所读取的日志中是否存在数值型字符；

在判断为该日志中存在数值型字符时，将该日志中的数值型字符的每一个都替换为一个预设的特殊字符；

计算替换后的该日志与该线程缓存器中存储的各日志之间的相似度；以及

判断所计算出的相似度是否大于第一阈值，

在所计算出的相似度大于第一阈值时，确定该日志是重复日志。

6.如权利要求5所述的日志萃取方法，其中，重复进行步骤(a)到(d)的预定次数是3次。

7.如权利要求5所述的日志萃取方法，其中，在判断该日志是否是重复日志的步骤中还包括：

在所计算出的各相似度都不大于第一阈值时，将该所读取的日志添加到所述线程缓存器中。

8.如权利要求5所述的日志萃取方法，其中，所述第一阈值是80％。

9.一种基于单线程的日志萃取装置，包括：

日志队列创建单元，用于基于日志源创建日志队列；

数值型字符判断单元，用于针对从日志队列中读取的日志，判断该所读取的日志中是否存在数值型字符；

替换单元，用于在判断为该所读取的日志中存在数值型字符时，将该所读取的日志中的每一个都数值型字符替换为一个预设的特殊字符；

相似度计算单元，用于计算替换后的该所读取的日志与线程缓存器中存储的各日志之间的相似度；以及

比较单元，用于将所计算出的相似度与第一阈值进行比较，以确定所计算出的相似度是否大于第一阈值，以及

添加单元，用于在所计算出的各相似度都不大于第一阈值时，将该所读取的日志添加到所述线程缓存器并作为要萃取的日志添加到日志全集中。

10.如权利要求9所述的日志萃取装置，还包括：

过滤单元，用于在至少一个所计算出的相似度大于第一阈值时，确定该所读取的日志是重复日志，并过滤掉该所读取的日志。