[发明专利]用于事件的内存中处理的系统和方法

说明书

背景技术

安全信息/事件管理（SIM或SIEM）的领域通常涉及1）从网络和联网设备采集反映网络活动和/或设备的操作的数据以及2）对数据进行分析以增强安全性。例如，能够对数据进行分析以识别网络或联网设备上的攻击并且确定哪个用户或机器是负责的。如果攻击正在进行，能够执行对策以阻挠攻击或减轻由攻击所引起的损害。采集到的数据通常起源于由联网设备所生成的消息（诸如事件、警报、或警告）或者日志文件中的条目。联网设备包括防火墙、入侵检测系统、和服务器。

每个消息或日志文件条目（“事件”）被存储用于未来使用。安全系统也可以生成诸如相关事件和审计事件之类的事件。这些和其他事件与消息和日志文件条目一起也被存储在磁盘上。在平均客户部署中，可以生成每秒一千个事件。这总计每天一亿个事件或每个月30亿个事件。如此大量数据的分析和处理会在安全系统上带来相当大的负载，引起对结果进行报告的延迟。

附图说明

通过参考附图可以更好地理解本公开并且使其各种特征和优势显而易见。

图1是根据实施例的网络安全系统的拓扑框图。

图2A是根据实施例用于聚合趋势结果的内存中（in-memory）生成的过程流程图。

图2B是根据实施例用于存留（persist）聚合趋势结果的过程流程图。

图3是根据实施例用于恢复系统状态的过程流程图。

图4A是根据实施例用于负载共享的过程流程图。

图4B是根据实施例用于负载共享的另一个过程流程。

图4C是根据实施例用于监视趋势数据的过程流程图。

图5图示其中可以实现实施例的计算机系统。

具体实施方式

安全系统可以将报告提供给终端用户，这能够被用于追踪诸如对登录尝试的计数之类的各种数据点、有成功或失败的登录尝试的顶层用户（top user）、顶层入站或出站阻塞的源和目的地、以及对联网设备的配置改变。通常，报告提供关于涉及安全系统的范围下的客户环境中的联网设备的这些和其他事件的概要信息。除另有指示外，联网设备包括网络附接设备（例如，网络管理系统）和网络基础设施设备（例如，网络交换机、集线器、路由器等）二者。

为了产生报告，可以针对存留在数据存储器中的事件运行多个查询。如本文使用的，事件是消息、日志文件条目、相关事件、审计事件等。进一步在提交于2007年12月28日的美国申请序列号11/966,078中描述事件，通过引用将其全部内容合并于此。由于事件数据非常大，通常以太字节（terabyte）计，所涉及的处理量将相当大的负载强加于安全系统。

此外，在同时查找多个报告（例如，每月、每季等）的情况下，安全系统上的负载倍增，这可能引起生成报告上的延迟。例如，用于每月报告的事件的处理可以开始于月末。如果请求多个每月报告，则安全系统在月末可能经历负载上的尖峰。

安全系统上的负载也部分通过单独地和分别地在事件上运行每个查询而引起。换句话说，多次从磁盘读取相同的事件以计算针对每个单独查询的结果。这种类型的多读和多评估模型是效率低的。

趋势使客户能够追踪各种安全相关的活动。趋势在定义的调度和持续时间上运行规定的查询以计算在规定的持续时间期间的聚合结果。趋势将聚合数据保持在数据存储器中。例如，每个趋势将聚合数据保持在数据存储器中其自己的数据库表中。每个趋势发布单个查询并且将查询结果的聚合保存在关联的趋势表中。此外，每个趋势与频率和持续时间或时间间隔关联，在此期间查询被应用于事件。安全系统可以被预配置有多个趋势。趋势也可以是用户可配置的。

趋势可以被用于生成报告。例如，每小时趋势（即，有一个小时的持续时间）测量在联网设备处接收到的数据的字节数。趋势结果可以被存留在数据库的表中，并且趋势表中的每个记录表示对一天的一个小时内的字节的计数。如果用户向安全系统发布表达对上个月从9：00am-12：00pm的数据感兴趣的查询，在与该月中每天这些小时对应的表中的数据可以被用于提供报告。

如本文所述，在其被流送到网络安全系统中的趋势处理模块时通过将关联的查询应用于事件来对趋势进行内存中计算。查询结果被内存中聚合并且周期地存留到数据存储器。聚合趋势结果分摊（amortize）在运行报告所花费的较长持续时间上。换句话说，聚合趋势结果表示对事件的预处理。

当到了提供每月报告的时候，例如，在月末，由于部分数据已经被预计算，进一步的处理量被减少。此外，由于聚合趋势结果的计算发生在内存中，磁盘访问量被减少，从而减少安全系统上的负载。