[发明专利]用以搜索包含大量条目的日志的方法和系统

权利要求书

1.一种扫描系统日志的方法，包括：

递增地预扫描多个日志以标识与感兴趣的日志相对应的一组多个日志，其中，至少部分基于日志满足与征兆相关联的征兆定义这样的确定而将所述多个日志中的日志标识为感兴趣的日志，所述征兆定义包括征兆模式的结构和征兆的占位符数据，并且所述预扫描多个日志包括：

分别执行基本扫描，以至少部分地基于所述多个日志之一中包含的数据和征兆模式的结构，确定所述多个日志之一是否包括基本匹配；和

响应于多个日志之一包括基本匹配这样的确定，至少部分地基于征兆模式和征兆的占位符数据来确定多个日志之一中包括的数据是否与征兆匹配；

响应于多个日志之一中包含的数据与征兆匹配这样的确定，为满足征兆定义的那些感兴趣的日志生成征兆预扫描结果；以及

将征兆预扫描结果存储在可搜索的预扫描结果数据存储库中。

2.根据权利要求1所述的方法，其中，预扫描包括将与征兆相关联的频率约束应用于通过所述预扫描标识的一个或者多个感兴趣的日志。

3.根据权利要求2所述的方法，其中，频率约束指示模式出现的阈值数目以及时间段，在所述时间段内模式出现的所述阈值数目必须已经被满足。

4.根据权利要求1所述的方法，其中，递增地预扫描多个日志包括:

预扫描第一组日志；

将第一组日志标记为已被预扫描；以及

至少部分基于第一组日志已经被预扫描这样的确定而预扫描还没有被预扫描的第二组日志。

5.根据权利要求4所述的方法，其中，将第一组日志标记为已被预扫描包括使用指针或者其他数据结构来指示在一组原始日志数据内的已被预扫描的最后日志。

6.根据权利要求1所述的方法，其中，征兆定义包括被表达为正则表达式的模式。

7.根据权利要求6所述的方法，其中，模式包括第一模式，并且第一模式引用第二模式。

8.根据权利要求7所述的方法，其中，被包括在第一模式中的占位符在第一模式与之相关联的定义中关联于和第二模式的对应出现相关联的对应数据。

9.根据权利要求8所述的方法，其中，发现第一模式的匹配包括：

执行基本扫描以发现第一模式的非占位符部分的基本匹配；

从第二模式的对应出现获取所述对应数据；

用对应数据代替第一模式中的占位符；以及

基于结果来确定已发现第一模式的匹配。

10.根据权利要求1所述的方法，进一步包括接收包括征兆作为查询项的搜索查询，以及使用一组已存储的征兆预扫描结果来发现响应于查询的日志或者所述日志的部分。

11.一种用以扫描日志的系统，包括：

数据存储设备；以及

处理器，其耦合到数据存储设备，并且被配置成：

递增地预扫描多个日志以标识与感兴趣的日志相对应的一组多个日志，其中，至少部分基于日志满足与征兆相关联的征兆定义这样的确定而将所述多个日志中的日志标识为感兴趣的日志，所述征兆定义包括征兆模式的结构和征兆的占位符数据，并且所述预扫描多个日志包括：

分别执行基本扫描，以至少部分地基于所述多个日志之一中包含的数据和征兆模式的结构，确定所述多个日志之一是否包括基本匹配；和

响应于多个日志之一包括基本匹配这样的确定，至少部分地基于征兆模式和征兆的占位符数据来确定多个日志之一中包括的数据是否与征兆匹配；

响应于多个日志之一中包含的数据与征兆匹配这样的确定，为满足征兆定义的那些感兴趣的日志生成征兆预扫描结果；以及

将征兆预扫描结果存储在数据存储设备上的可搜索的预扫描结果数据存储库中。

12.根据权利要求11所述的系统，其中，预扫描包括将与征兆相关联的频率约束应用于通过所述预扫描标识的一个或者多个感兴趣的日志。