[发明专利]查询管道

说明书

优先权

本申请要求2010年6月10日提交的美国临时专利申请序号61/353,559的优先权，其被整体地通过引用结合到本文中。

背景技术

网络安全管理一般涉及从网络设备收集反映设备的网络活动和操作的数据，并分析该数据以增强安全性。例如，可以分析数据以识别对网络或网络设备的攻击，并且确定哪个用户或机器负责。如果攻击正在进行中，则可以执行对抗措施以挫败攻击或减轻由攻击引起的损害。所收集的数据通常源自于消息（诸如事件、警报或警告）或日志文件中的条目，其是由网络设备生成的。网络设备的示例包括防火墙、入侵检测系统、服务器、交换机、路由器等。

每个消息或日志文件条目被存储以供未来使用。可以查询所存储的消息或日志文件条目以识别与攻击或分析有关的信息。为了促进消息或日志文件条目的搜索，可以将数据存储在关系数据库中。在接收到查询后，关系数据库可以识别并返回相关消息或日志文件。可以处理（例如过滤或排序）所返回的消息或日志文件并随后呈现给用户。

关系数据库能够处理大量的数据。然而，关系数据库可以执行某些类型的查询但不能执行其他的查询。因此，用户必须将查询操作符和条件精心构造成与关系数据库兼容。在某些情况下，用户可能必须对从关系数据库获得的查询结果执行后续处理以获得期望的结果。此外，关系数据库常常要求访问较慢的辅助存储设备（例如硬盘）以便执行查询。

附图说明

图1是图示了根据一个实施例的具有安全信息和事件管理系统的环境的方框图。

图2图示了根据一个实施例的用于充当安全信息和事件管理系统的日志系统的计算机的方框图。

图3A是图示了根据一个实施例的与存储日志数据相关联的日志系统的部件的方框图。

图3B是图示了根据一个实施例的与对所存储日志数据执行查询操作相关联的日志系统的部件的方框图。

图4是图示了根据一个实施例的用于存储日志数据的方法的流程图。

图5是图示了根据一个实施例的用于查询所存储日志数据的方法的流程图。

附图仅仅出于图示的目的描绘了实施例。本领域的技术人员根据以下描述将容易认识到在不脱离在此所述原理的情况下可以采用在此所示的结构和方法的替换实施例。

具体实施方式

根据实施例，计算机系统用于跨计算机网络从不同的设备收集数据，将数据规格化成通用模式（schema），并将规格化的数据合并。然后可以在集中式视图中监视、分析数据（“事件”）并将其用于调查和补救。可以使事件与规则互相关以创建元事件。相关包括例如发现事件之间的关系，推断那些关系的重要性（例如通过生成元事件），将事件和元事件按优先次序排列，并且提供用于采取行动的框架。该系统（其一个实施例被表示为由诸如处理器的计算机硬件执行的机器可读指令）使得能够实现可疑网络活动的聚合、相关、检测和调查跟踪。该系统还支持响应管理、特别(ad-hoc)查询解析、用于取证分析的报告和重放以及网络威胁和活动的图形可视化。

实施例还包括日志系统，该日志系统生成查询操作序列，其涉及对关系数据库的至少一个查询操作和基于流处理的至少一个查询操作。日志系统接收查询请求并识别将对关系数据库执行的查询操作和将由流处理来执行的查询操作。用于关系数据库的查询操作被转换成SQL（结构化查询语言）命令并提供给关系数据库。日志系统从关系数据库接收查询结果并基于关系数据库或流处理来执行后续查询操作。日志系统利用关系数据库的能力来处理大量数据并利用流处理的灵活性来执行各种类型的查询命令。

在此所述的流处理指的是在主数据储存器内以连续方式对数据流执行多个操作。在流处理中，来自早先操作的已处理数据被连续地馈送给后续操作以进行处理。

该系统是关于示例描述的，不应将其理解为限制实施例的更广泛精神和范围。例如，在此给出的示例描述了分布式代理、管理器和控制台，其仅仅是一个实施例。一般概念和范围要广泛得多，并且可以延伸至任何基于计算机或基于网络的安全系统。并且，给出了可以向和从系统的部件传递的消息的示例和可以被系统的部件所使用的数据模式，但其并不意图是包括一切的示例，并且不应这样认为。

图1是图示了根据一个实施例的具有安全信息和事件管理系统的环境的方框图。图1包括安全信息和事件管理（SIEM）系统100和一个或多个数据源110。数据源110是网络节点，其可以是设备或软件应用。数据源110的示例包括入侵检测系统（IDS）、入侵预防系统（IPS）、弱点评估工具、防火墙、防病毒工具、防垃圾邮件工具、加密工具、应用审计日志以及物理安全日志。