[发明专利]安全告警日志降噪方法、装置、设备及存储介质

说明书

本发明提供了安全告警日志降噪方法、装置、设备及存储介质，该方法包括：按第一时间窗口，对原始告警日志进行分组，获得第一告警集合；按地址信息以及事件类型，对第一告警集合进行分组，获得第二告警集合；基于第二告警集合的第一时间窗口内告警日志总数以及事件速率，筛选第二告警集合；对经筛选的第二告警集合：按第二时间段，切分第一时间窗口，形成窗口时间标签序列；按每一事件，生成事件时间标签序列；按原子安全事件，合并事件时间标签序列，形成时间序列集合；根据时间序列集合形成经降噪的告警日志。本发明以地址信息以及事件类型为初始分组条件，基于时间和行为特征实现对上下文安全告警日志的降噪，过滤低风险告警，保留高价值信息。

技术领域

本发明涉及网络与信息安全领域，具体地说，涉及安全告警日志降噪方法、装置、设备及存储介质。

背景技术

当前，业界对安全告警日志的降噪主要包括两大类方法：基于叠加规则的日志过滤、基于统计聚合的日志合并。现有的降噪处理技术有一定效果，但是离一线安全运维人员的需求还有距离。具体存在以下缺点：

1)基于叠加规则的日志过滤方法。针对已有的安全告警日志，只筛选特定安全事件类型的日志。该方法不符合安全攻击行为特征，容易丢失对整体安全评估的关键信息。例如，如果只关注“远程命令执行”类告警，将会忽略如“Web敏感路径扫描”、“SQL注入”等大量告警日志，导致安全运维人员无法判别攻击者的原始入侵时间、方法路径。

基于统计聚合的日志合并。对于有相同攻击类型的告警日志上下文进行合并。该方法只能对同类型事件进行统计合并，没有对大量“工具尝试类”的相关事件做关联和降噪。安全运维人员后续依旧要凭借经验分析，过滤大量的低风险告警。例如，“SQLi(SQL注入)”和“CC(Challenge Collapsar，使用代理服务器向受害服务器发送大量貌似合法的请求)攻击”经常一起出现，前者充斥大量盲注尝试、后者充斥大量复杂的、异常的Web/SQL请求。

由此，如何对安全告警日志进行降噪，过滤大量低风险告警，保留高价值信息，是本领域技术人员亟待解决的技术问题。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明的目的在于提供安全告警日志降噪方法、装置、设备及存储介质，克服了现有技术的困难，对安全告警日志进行降噪，过滤大量低风险告警，保留高价值信息。

本发明的实施例提供一种安全告警日志降噪方法，包括：

按第一时间窗口，对原始告警日志进行分组，获得第一告警集合；

按地址信息以及事件类型，对所述第一告警集合进行分组，获得第二告警集合；

基于所述第二告警集合的所述第一时间窗口内告警日志总数以及事件速率，筛选所述第二告警集合；

对经筛选的第二告警集合：

按第二时间段，切分所述第一时间窗口，形成窗口时间标签序列；

按每一事件，生成事件时间标签序列；

按原子安全事件，合并所述事件时间标签序列，形成时间序列集合；

根据所述时间序列集合形成经降噪的告警日志。

在本申请的一些实施例中，所述第二告警集合以告警日志的源地址、目的地址、事件类型、该第一时间窗口内最早的时间标签、该第一时间窗口内最晚的时间标签、所述第二告警集合中原始告警日志的数量为标签生成第一告警日志。

在本申请的一些实施例中，所述基于所述第二告警集合的所述第一时间窗口内事件总数以及事件速率，筛选所述第二告警集合包括：