[发明专利]一种基于日志通用性规则引擎的规则处理方法

说明书

本发明公开了一种基于日志通用性规则引擎的规则处理方法，包括：步骤S100)：规则配置，设定需要作用在日志数据上的规则，规则包括统计规则、指令规则和过滤规则；步骤S200)：规则解析，将配置好的规则进行解析，并加载到规则引擎中对日志进行处理；步骤S300)：对接收的日志数据按照规则进行过滤、匹配处理；步骤S400)：对数据聚合结合做研判处理或者结构化处理，并将处理后的数据存入数据库或消息队列。本发明通过统计规则、指令规则、过滤规则的设计，针对不同的源日志数据进行处理，同时基于时间窗口的设计，将聚合统计的计算次数控制在最小，大大提高了日志在规则引擎上处理的能力。

技术领域

本发明涉及规则设计、规则解析和日志数据领域，具体的说，是一种基于日志通用性规则引擎的规则处理方法。

背景技术

随着互联网迅速普及和蓬勃发展，大型企业软件应用日趋成熟、庞大，各个企业公司的日志数据也逐渐得到相关人员的高度重视。公司和企业开始利用自己的日志数据进行统计和分析，来为公司业务的发展走向做出更优的决策和业务安全保驾护航，日志数据的价值远远大于他未被发现时的价值，公司和企业为了打造自己的专属业务日志分析处理系统，但是这些系统基本上是针对该类业务日志，对于其他类的应用日志则需要再配置一套另外的系统，表面上该系统并不具备通用性，实则是规则引擎不具备通用性。

发明内容

本发明的目的在于提供一种基于日志通用性规则引擎的规则处理方法，用于解决现有技术中不同类型的应用日志需要在不同的业务日志分析处理系统上处理的问题。

本发明通过下述技术方案解决上述问题：

一种基于日志通用性规则引擎的规则处理方法，包括：

步骤S100)：规则配置，设定需要作用在日志数据上的规则，所述规则包括统计规则、指令规则和过滤规则；

步骤S200)：规则解析，将配置好的规则进行解析，并加载到规则引擎中对日志进行处理；

步骤S300)：对接收的日志数据按照规则进行过滤、匹配处理；

步骤S400)：对数据聚合结合做研判处理或者结构化处理，并将处理后的数据存入数据库或消息队列。

进一步地，所述步骤S100)中：

统计规则包括统计别名、统计算法、统计字段、时间窗口和统计规则表达式，所述统计算法作用在所述统计字段上，所述统计规则表达式只包括匹配表达式；

指令规则包括规则别名、时间窗口和指令规则表达式，所述指令规则表达式包括匹配表达式和研判表达式；

过滤规则只包括过滤匹配表达式。

进一步地，所述步骤S100)中还包括指令设计，所述指令设计包括指令别名、告警时间间隔、最终告警时间、剩余告警次数和指令规则集，所述指令规则集中的各规则是“与”的关系。

进一步地，所述步骤S300)具体包括：

步骤S310)：接收日志数据，并判断对所述日志数据是否设置了过滤规则，如果是，则进入步骤S320，否则进入步骤S330)；

步骤S320)：采用过滤规则的过滤匹配表达式进行处理，进入下一步；

步骤S330)：分别采用统计规则表达式的匹配表达式和令规则表达式的匹配表达式进行数据处理，进入步骤S400)。

进一步地，所述步骤S330)中采用指令规则表达式的匹配表达式进行处理的步骤包括：

A1：在时间窗口的临时桶保存当前时间点的数据，聚合上一个时间点的数据；

A2：指令中的所有规则均遍历使用聚合的结果进行研判；