[发明专利]一种日志数据处理方法、系统及装置

权利要求书

1.一种日志数据处理方法，其特征在于，应用于日志数据处理系统中，所述日志数据处理系统包括分发引擎和多个规则引擎，所述方法，包括：

分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息；

所述分发引擎根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎，所述目标规则引擎为所述多个规则引擎中的至少一个；

所述目标规则引擎判断第一规则桶中是否存在所述日志特征信息；

所述目标规则引擎若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

2.根据权利要求1所述的方法，其特征在于，分发引擎获取流量的日志数据，包括：

所述分发引擎从内存中读取所述流量的日志数据，所述内存缓存有所述流量的部分日志数据；

在所述分发引擎根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎之后，所述方法，还包括：

将所述流量的日志数据从所述内存中删除。

3.根据权利要求1所述的方法，其特征在于，所述日志特征信息包括源IP地址和目的IP地址；则

所述目标规则引擎判断第一规则桶中是否存在所述日志特征信息，包括

所述目标规则引擎判断所述第一规则桶中是否存在所述源IP地址；

若所述第一规则桶中存在所述源IP地址，则确认所述第一规则桶中存在所述日志特征信息；

所述目标规则引擎判断第二规则桶是否存在所述日志特征信息，包括：

所述目标规则引擎判断所述第二规则桶是否存在所述源IP地址和所述目的IP地址；

若所述第二规则桶中存在所述源IP地址和所述目的IP地址，则确认所述第二规则桶存在所述日志特征信息。

4.根据权利要求1所述的方法，其特征在于，在将所述第一规则桶中所述日志特征信息对应的计数器的数值加1之后，还包括：

创建所述日志特征信息的安全事件模板；

所述目标规则引擎若确认所述计数器的数值大于设定阈值之后，还包括：

上报所述安全事件模板所指示的安全事件。

5.根据权利要求1所述的方法，其特征在于，还包括：

若所述第一规则桶存在所述日志特征信息，且所述第二规则桶存在所述日志特征信息，则保持所述第一规则桶中所述日志特征信息对应的计数器的数值不变。

6.根据权利要求1所述的方法，其特征在于，若第二规则桶不存在所述日志特征信息，或，所述第一规则桶不存在所述日志特征信息，则所述方法，还包括：

所述目标规则引擎在所述第二规则桶中所述日志特征信息对应的标志位的取值设置为设定值。

7.一种日志数据处理方法，其特征在于，应用于规则引擎中，所述方法，包括：

获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

判断第一规则桶中是否存在所述日志特征信息；

若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。