[发明专利]分布式事件处理

说明书

背景技术

事件管理系统通过收集来自多个源的数据并将所收集的数据集中地存储来操作以使得所收集的数据可以被分析以用于一个或多个特定目的。在一些情况下，该数据能包括数百万或者甚至数十亿记录。例如，安全信息/事件管理系统运行以1)从网络和联网设备收集反映网络活动和/或设备的操作的数据；以及2)分析该数据以增强安全性。该数据能够被分析以识别网络或联网设备上的攻击并且确定哪个用户或机器是有责任的。如果该攻击是正在进行的，则可执行对策以阻碍该攻击或减轻该攻击所造成的损害。被收集的数据通常起源于由联网设备所生成的日志文件中的条目或消息(诸如事件、警报或警告)。示例性网络设备包括防火墙、入侵检测系统和服务器。

附图说明

图1描述了其中可以实现各种实施例的环境。

图2描述了根据示例的系统。

图3描述了根据示例的存储器和处理器的框图。

图4是描述被采取以实现示例的步骤的流程图。

图5是根据示例的通信序列图。

具体实施方式

引言：事件管理系统收集、处理和存储来自各种源的事件记录。此类处理能包括规范化、划分、索引和压缩。对于给定系统的记录可以从多个设备收集并且数以十亿计。集中处理从多个源收集的记录可能消耗显著的通信带宽和处理器资源。下面描述的各种实施例操作将处理功能分布在被称作连接器(connector)的多个代理之间以降低任何给定处理器上的需求。另外，当处理记录时，所述连接器可增加压缩级别，从而降低当递送所述记录以供集中存储时所消耗的通信带宽。

在示例性实现方式中，提供了多个连接器。每个连接器被配置成从所分配的数据源获取事件数据并且将所获取的事件数据划分成簇。每个簇可以包括被分段成事件字段的列的事件数据的行。所述连接器负责将分区分割成块(chunk)。此类块可以被压缩。块是分区的被选择的部分。在示例中，块包括给定簇列的字段。所述块收集自多个连接器并被存储至能被查询的数据文件。值得注意的是来自各个连接器的块可以在被存储之前被合并或者以其他方式被结合。通过存储表示分区的列的块，该数据文件被读优化。在示例中，每个连接器组装针对每个块的元数据。该元数据可被包括在每个块中或者以其他方式被链接到每个块。当所述块被收集、合并和存储时，该元数据被用于维护对于数据文件的索引。在对于每个块的元数据识别该块的情况下，所得到的索引允许访问并且响应于查询而从数据文件返回单独的块。

图1描述了其中可实现各种实施例的环境10。环境10被示出为包括事件管理设备12、数据存储装置14、网络数据源16以及客户端设备18。事件管理设备12通常表示任何计算设备或计算设备的组合，其被配置成收集和存储由网络数据源16所生成的事件数据。事件管理设备12将事件数据存储在数据存储装置14中并且负责通过返回满足给定查询的被存储数据的被选择部分而对来自客户端设备18的查询进行响应。

每个网络数据源16通常表示设备或在设备上运行的应用，其被配置成提供事件数据。事件数据是描述事件的数据并且可以在由给定数据源16所生成的日志或消息中捕获。作为示例，入侵检测系统(IDS)、入侵防御系统(IPS)、脆弱性评估工具、防火墙、反病毒工具、反垃圾邮件工具和加密工具可以生成描述由数据源16所执行的活动的日志。例如，可以由在日志文件或系统日志服务器中的条目、警报、警告、网络数据包、电子邮件或通知页面来提供事件数据。

在图1的示例中，数据源16被描述为入侵检测设备、服务器和防火墙。更一般地，数据源16是网络节点，其可以是网络设备或软件应用。作为示例，其他类型的数据源能包括入侵防御系统、脆弱性评估工具、反病毒工具、反垃圾邮件工具、加密工具、应用审计日志和物理安全日志。

链路20通常表示电缆、无线、光纤或者经由电信链路、红外链路、射频链路或者提供电子通信的任何其他连接器或系统的远程连接中的一个或多个。链路20可以至少部分包括内网、互联网、或两者的组合。链路20也可包括中间代理、路由器、交换机、负载均衡器等等。

下面的描述被分成几个部分。第一，标记为“组件”，描述了用于实现各种实施例的各种物理和逻辑组件的示例。第二部分，标记为“操作”，描述了实现各种实施例而采取的步骤。

组件：图2-3描述了用于实现各种实施例的物理和逻辑组件的示例。图2描述了分布式事件处理系统22。在图2的示例中，系统22包括连接器24和存储管理器26。图2也描述了与连接器24通信的数据源16并且将数据文件28和索引30描述为对存储管理器26可访问的。