[发明专利]一种日志数据处理方法、系统及装置

说明书

本申请提供了一种日志数据处理方法、系统及装置。该方法为：分发引擎获取流量的日志数据，并从日志数据中解析出日志特征信息；根据日志特征信息确定对日志数据感兴趣的目标规则引擎；目标规则引擎判断第一规则桶中是否存在日志特征信息；若判断第一规则桶存在日志特征信息，则判断第二规则桶是否存在日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中日志特征信息对应的计数器的数值加1；若判断第一规则桶不存在所述日志特征信息，则将所述第一规则桶中日志特征信息对应的计数器的数值加1；若确认计数器的数值大于设定阈值，则确认流量存在异常。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志数据处理方法、系统及装置。

背景技术

安全管理平台是以安全大数据为基础，对能够引起网络态势发生变化的要素进行获取、理解、评估、呈现以及对未来发展趋势进行预测。以全局视角提升对安全威胁的发现识别、理解分析、响应处置的能力，通过智能分析和联动响应，结合机器学习和人工智能，推动安全大脑的闭环决策，实现安全能力的落地实践。其中，目前提供的异常流量模块通过Spark周期性的从海量原始日志中提取各个规则感兴趣的日志记录，经过聚合、过滤后生成对应的安全事件，比较关注的是流量日志和审计日志。由于日志数据巨大，并且规则是串行执行的，随着规则数量的增加，必然导致后面的规则在Spark任务周期内来不及处理，导致安全分析能力的下降。因此，如何快速寻找出多个日志来源的海量数据中是否存在满足异常流量规则的异常数据，是当前安全业界研究的重要课题之一。

目前的Spark日志分析方式存在下述弊端：一方面，每个规则都需要对内存中的海量数据做查询、分组、聚合、过滤等操作，这样就可能造成规则检测卡死，同时串行处理可能造成后面的规则超时，进而导致安全检测能力降低；另一方面是多个来源日志可能会影响检测性能，比如DNS隧道检测涉及到流量会话日志和DNS审计日志，流量会话日志中有上下行流量大小，审计日志中有DNS域名，多表连接会造成性能极大损失。

因此，如何对日志数据进行高效分析避免规则检测卡死，以提升安全检测能力是值得考虑的技术问题之一。

发明内容

有鉴于此，本申请提供一种日志数据处理方法、系统及装置，用以对日志数据进行高效分析避免规则检测卡死，以提升安全检测能力。

具体地，本申请是通过如下技术方案实现的：

根据本申请的第一方面，提供一种日志数据处理方法，应用于日志数据处理系统中，所述日志数据处理系统包括分发引擎和多个规则引擎，所述方法，包括：

分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息；

所述分发引擎根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎，所述目标规则引擎为所述多个规则引擎中的至少一个；

所述目标规则引擎判断第一规则桶中是否存在所述日志特征信息；

所述目标规则引擎若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

根据本申请的第二方面，提供一种日志数据处理方法，应用于规则引擎中，所述方法，包括：

获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

判断第一规则桶中是否存在所述日志特征信息；