[发明专利]对分区计算机数据库数据进行聚合的方法、装置和系统

说明书

公开了方法、装置、系统和制品。一种示例分区计算机数据库系统包括：多个节点；数据引导器，所述数据引导器将数据库数据的多个部分跨所述多个节点分布；查询器，所述查询器与所述多个节点中的相应节点相关联，所述查询器执行所述数据库数据的相应部分的相应子查询；以及协调器，所述协调器接收对所述数据库数据进行查询的请求，并且合并所述多个子查询的结果，以形成对所述请求的响应。

技术领域

本公开总体上涉及数据库，并且更具体地，涉及对分区计算机数据库数据进行聚合的方法、装置和系统。

背景技术

数据驱动的安全性将大数据分析应用于安全数据流。通过收集来自分布在大规模客户端系统中的大量机器的数据，可以生成安全数据流。

附图说明

图1例示了根据本公开的教导的示例系统，在该示例系统中，可以可扩展地聚合分区数据库数据。

图2是图1的示例系统的示例控制面板(dashboard)。

图3是例示图1的示例集群和示例节点的示例实现方式的框图。

图4是表示用于实现图1的示例节点和/或更一般地示例集群的示例硬件逻辑或机器可读指令的流程图。

图5例示了被构造成执行图4的示例机器可读指令以实现图1的示例节点和/或更一般地示例集群的示例处理器平台。

当有益时，将在附图和随附的说明书中使用相同的附图标记来指代相同或相似的部分。在所呈现的各个附图中示出的连接线或连接件旨在表示各个元件之间的示例功能关系和/或物理或逻辑联接。

具体实施方式

在计算机安全信息和事件管理(SIEM)领域，安全运营中心分析人员需要能够交互地控制数据流聚合，并进行过滤以识别否则可能无法观察到的数据流性质。然而，随着客户端部署扩大到云规模，安全数据流变得非常大(例如，数亿个事件)以使得单个数据库节点不再能够处理流的提取(ingestion)和聚合(aggregation)。因此，本文公开了扩展到超出单个节点的现有限制的系统、方法和装置。本文公开的一些示例在流数据被接收和提取时(即，基本上实时)，通过跨多个节点对流数据进行分区(例如，散布、分布)来扩展流数据提取。

在已知的大型系统中，在不进行数据重新置乱(例如，聚合、组合等)的情况下，以这种方式跨多个节点分区的数据无法被连接(join)。例如，给定两个表R和S，R JOINS是R和S中具有共同属性名称的元组的所有组合的集合。考虑作为字段K的子集的示例共同属性。为了计算R JOIN S，数据库系统必须获取R中的各行r并找到S中的所有元组s，其中r.k＝s.k。为了在分布有R和S两者的分布式系统中进行这种计算，集群中的各个物理节点必须将数据从S或R任一者提供至其它节点，然后所述其它节点才能进行局部合并。R与P(S)之间的局部合并是将R中的各个r与P(S)中的所有行进行比较，以确保针对JOIN确定总笛卡尔积。在节点之间提供数据称为重新置乱(re-shuffling)，并且使得在已知分布式系统上实时JOIN是不可行的。相反，根据本公开的教导，可以在不进行重新置乱的情况下，跨多个节点实时地对分区数据进行可扩展过滤、连接和聚合。当前可用的、昂贵的且复杂的系统仅能够处理约一百万个事件每秒(EPS)。与之形成鲜明对比，本公开的教导已被用于实现能够超过两百万EPS的系统。由于在SIEM领域中EPS是重要基准，因此EPS的2倍提高代表着SIEM的数据库系统、装置和方法的显著改进。这种改进允许SIEM分析人员能够更快地检测安全事件并做出响应，以减少他们正在监测的计算机系统中的安全事件，从而减少例如数据丢失、数据失窃、计算机系统不可用等的可能性。

现在将详细参照非限制性示例，其中的一些示例在附图中例示。