[发明专利]使用行‑列数据存储的查询汇总生成

说明书

背景技术

如果传统关系数据库管理系统（RDBMS）被用于存储大量的数据（这可能会包括数百万或甚至数十亿的条目），则在RDBMS中运行查询是有挑战性的。生成这个数据量的环境是不寻常的，诸如，从许多不同的源连续接收事件的事件管理系统。

索引可以被创建以改进查询的性能。然而，由于查询可能必须等待索引完成，所以在数据库中每个列的大量数据上索引可能减低查询的性能。此外，由于针对环境的索引的大小需要大量数据存储，所以索引增加数据库所需的存储的数量。此外，因为表格需要被重新索引，所以写操作花费更长的时间。

此外， 由于这种大量的数据，审核查询结果可能变得难以处理。查询可以生数千或甚至数百万的命中（hit）。对于用户来说，解析这种大量的命中通常是困难的。在典型的情况下，前一百个命中被呈现给用户。用户通过图形用户界面（GUI）审核命中，以及然后点击按钮来检索接下来的一百个命中，等等，这是耗时且低效的过程。

附图说明

在接下来的描述中，参考如下的附图详细地描述实施例。

图1图示了依据实施例的信息和事件管理系统；

图2图示了依据实施例的数据存储系统；

图3-8图示了依据实施例的方法；以及

图9图示了依据实施例的可以被用于所述方法和系统的计算机系统。

具体实施方式

为了简单和图示说明的目的，实施例的原理通过主要参考其示例而描述。在接下来的描述中，众多特定的细节被阐述以提供对实施例的彻底理解。显然的是：实施例可以在不限制到全部特定细节的情形下被实施。此外，实施例可以采用各种组合一起被使用。

依据实施例，混合数据存储系统在列和行数据存储二者中存储数据。所述系统选择列或行数据存储来依赖于各种参数执行查询，这可以改进运行查询的速度。数据存储系统可操作以优化查询，所述查询对使用列和行数据存储而存储在数据存储系统中的大量数据执行。例如，除了确定查询的命中之外，所述数据存储系统还生成命中的查询汇总。所述命中是来自运行查询的搜索结果。查询汇总包括在数据存储系统中存储数据的字段的子集。所述字段的子集被称为查询汇总字段。所述查询汇总可以包括针对所述子集中每个字段的柱状图。所述柱状图可以包括针对每个查询汇总字段的聚集计数。所述查询汇总允许用户快速识别查询结果的最相关数据。此外，所述数据存储系统允许在所述查询汇总中对信息向下钻取（drill-down）。

数据存储系统还执行优化，该优化可以允许所述查询汇总被存储在存储器中。例如，查询汇总可能过大而无法存储在存储器中，因此，数据存储系统执行优化来减小查询汇总中的数据量，但保留可能与所述用户最相关的数据。通过优化查询汇总以供在存储器中存储，向下钻取可以被更快地执行。在此描述的优化技术为大量数据提供了缩放查询汇总和向下钻取的方法。

数据存储系统还生成全局汇总。全局汇总针对在预定的时间周期内接收的全部数据而生成。相对于来自可用于查询汇总字段的模式的较少数量的字段，所述全局汇总可以包括存储模式中的全部或大部分的字段。通过示例和非限制的方式，全局汇总可以针对每个5分钟时段的数据而生成。当新的数据被存储时，旧数据可以出于规章遵从的原因或者为新的数据创建空间而被移除。全局汇总提供可缩放的方法用以维护所删除数据的信息。此外，时段全局汇总能够被用于优化在大的时间范围内执行的查询。例如，所述全局汇总能够被用于快速确定具有查询的命中的窄时间范围，而不是搜索整个时间范围。

在数据存储系统中存储的数据的类型的示例是事件数据。事件是在数据存储系统收集和存储的数据的实例。所述事件可以关联于或描述被执行的活动或动作。通常，事件被生成一次，并且以后不改变。事件数据包括一个或多个事件。事件数据可以包括日志数据，该日志数据可以由各种源（包括设备和应用）生成并且可以采用任何格式。例如，事件可以是日志文件中的条目、系统日志服务器中的条目、警告、警报、网络数据包、电子邮件、通知等。

事件数据可以被相关和分析以识别网络安全威胁。安全事件是一种类型的事件，并且是能够被分析以确定其是否与安全威胁相关联的任何活动。所述活动可以与用户（也被称为行动者）相关联，以识别安全威胁和所述安全威胁的原因。活动可以包括：登陆、退出、通过网络发送数据、发送电子邮件、访问应用、读取或写入数据等。安全威胁包括被确定为指示可疑或不当行为的活动，其可以被通过网络或在连接到网络的系统上执行。例如，通常的安全威胁是用户尝试通过网络获得对保密信息（诸如，社会安全号码、信用卡号码等）的未授权访问。