[发明专利]一种基于规则引擎的实时分类统计日志的方法及系统

说明书

本发明公开了一种基于规则引擎的实时分类统计日志的方法及系统，属于日志统计技术领域。本发明的基于规则引擎的实时分类统计日志的方法，该方法引入规则引擎，通过日志类型自定义、日志属性自定义、日志类型关系维护和自定义日志报表，根据引擎规则，在日志采集时对日志进行分类，针对不同的日志类型自动增加不同的属性作为统计指标，并通过自定义日志报表选取日志类型和指标进行统计和展示。该发明的基于规则引擎的实时分类统计日志的方法配置简单，可扩展性强，适应于不同的统计场景，并且能够为日志统计提供更加精确的数据源，避免查询范围过大，具有很好的推广应用价值。

技术领域

本发明涉及日志统计技术领域，具体提供一种基于规则引擎的实时分类统计日志的方法及系统。

背景技术

传统的日志统计方式，需要经过日志采集、解析、入库、检索等多个环节。通常在日志采集阶段，会进行日志过滤，对不需要统计的日志进行筛选；在日志解析环节，一般会解析出日志的几个标准字段，比如日志发生时间、日志源(IP地址或主机名)、日志级别、日志标题、日志正文等等，通过日志源匹配资源表也会增加其他的设备属性；在入库环节，会将日志作为索引存入搜索引擎持久化；最后在检索阶段，一般通过关键字、或者正则表达式，从海量日志里检索出符合条件的日志，然后再进行数量的统计分析。

对于不同设备来源的日志，所统计的属性指标也各不相同，比如防火墙日志，一般统计攻击来源、攻击目的，攻击次数、攻击方式，对于系统登录日志，一般统计登录用户、登录次数、登录是否成功等，而这些属性指标一般需要从日志标题或者正文中解析才能得到，标准的几个日志字段显然是不足以支持统计分析，需要分类型进行定制化的解析。

现有的日志统计方案中，一般通过在日志入库后，再进行统计分析，检索难度大，效率低下。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种配置简单，可扩展性强，适应于不同的统计场景，并且能够为日志统计提供更加精确的数据源，避免查询范围过大的基于规则引擎的实时分类统计日志的方法。

本发明进一步的技术任务是提供一种基于规则引擎的实时分类统计日志的系统。

为实现上述目的，本发明提供了如下技术方案：

一种基于规则引擎的实时分类统计日志的方法，该方法引入规则引擎，通过日志类型自定义、日志属性自定义、日志类型关系维护和自定义日志报表，根据引擎规则，在日志采集时对日志进行分类，针对不同的日志类型自动增加不同的属性作为统计指标，并通过自定义日志报表选取日志类型和指标进行统计和展示。

本发明中的规则引擎为Drools，是一个基于RETE算法的产生式规则引擎的实现。

该基于规则引擎的实时分类统计日志的方法通过在采集数据时引入规则引擎，在日志入库之前就已经完成日志的分类整理，在日志统计时可以将某一类型的日志作为数据源进行统计，同时针对不同的日志类型可以自定义不同的属性指标作为统计字段，大大提供了日志统计的效率。

作为优选，该方法具体包括以下步骤：

S1、日志类型自定义，提供可视化的配置界面，需要配置规则名称、规则条件、规则描述、以及满足规则后设置的日志类型名称；

S2、日志属性自定义，对数据自定义的类型，设置自定义的日志属性；

S3、日志类型关系维护，多个日志类型之间维护父子关系；

S4、自定义统计报表，提供可视化的配置界面，支持配置自定义统计名称、数据源、报表展示的列、设备字段、指标字段和图形样式。

作为优选，步骤S1中，所述规则条件包括候选字段、操作符和表达式，候选字段为日志的标准字段，根据字段类型动态改变操作符，根据所选操作符的不同，表达式支持输入数字、字符串以和正则表达式。