[发明专利]混合数据操作中的间接过滤

说明书

实施例涉及跨越包括具有列和行的数据结构的多个不同数据集执行数据混合操作。要混合的数据集的列可以链接在一起。在执行数据混合操作之前，可以将过滤器应用于数据集，以指定在客户端接口处的可视化中显示哪些列。可以将直接过滤器应用于数据集之一以获得过滤结果数据集。可以识别与要混合的数据集的链接列相对应的过滤结果数据集的数据元素。应用直接过滤器的结果然后可以用作用于间接过滤器的过滤标准以对第二数据集进行过滤。然后可以在数据混合操作中将应用直接过滤器和间接过滤器的结果组合在一起。

技术领域

本文公开的至少某些实施例总体涉及计算机网络中的数据处理，并且特别地涉及跨越多个数据集的混合数据操作中的间接过滤。

背景技术

在数据库系统中合并来自数据库表(或其他数据结构)的数据是公知的。合并数据操作可以在两个或更多个数据库结构上执行，以将它们相应的数据合并在一起。但是数据合并受到许多缺陷的困扰。当从两个或更多个数据结构的列或行合并数据时，其中一列或行必须作为合并操作的外键(foreign key)。结果，需要唯一值来执行数据合并。也就是说，当在数据合并操作中将特定列或行用作链接元素时，其值不可以被重复。

此外，涉及数据合并操作的数据库表(或其他数据结构)的整个数据集必须从数据库查询、处理，并且然后整个结果数据集必须写回到数据库。结果数据集可以非常大且难以处理。例如，如果要合并特定数据库表中的1000列，则结果数据集将非常大。因此，在数据合并操作中对结果数据集的数据处理在存储器空间、网络带宽和数据处理资源方面造成大量费用。

另一方面，数据混合提供了在数据合并中不可用的能力。数据混合是用于从多个数据源提取数据以潜在地发现不同数据集之间的相关性的过程。数据混合以收集来自各种不同源的数据开始。一旦这些源被定位并且加载，则数据被组合为功能数据集，同时排除任何不必要的数据。在数据混合中，来自两个或多个数据集的两个或多个列的任何用户定义子集可以以任何指定的粒度(granularity)混合在一起，而不需要针对混合的列或行的唯一值并且不需要针对每个数据集处理整个数据库表。

发明内容

这里描述的实施例包括用于混合数据操作中的间接过滤的改进的方法、系统和计算机可读介质。在一个实施例中，公开了一种方法，所述方法包括：在客户端系统的客户端接口处接收输入，所述输入将包括具有一个或多个列和一个或多个行的第一数据结构的多个数据集中的第一数据集的第一列的维度与包括具有一个或多个列和一个或多个行的第二数据结构的多个数据集中的第二数据集的第二列的相对应的维度链接；对第一数据集应用直接过滤器，以获得指定由应用第一过滤器得到的列和行的第一过滤结果数据集；识别对应于将第一数据集与第二数据集链接的维度的第一过滤结果数据集的行中的数据元素；对第二数据集应用间接过滤器，以获得指定由应用间接过滤器得到的列和行的第二过滤结果数据集，其中，用于间接过滤器的过滤标准包括第一过滤结果数据集的行中所识别的数据元素；生成客户端请求，以对第一过滤结果数据集和第二过滤结果数据集执行数据混合操作；以及将客户端请求传送到与数据库通信的服务器计算机，其中，服务器计算机被配置为响应于客户端请求对第一过滤结果数据集和第二过滤结果数据集执行数据混合操作。

在一个实施例中，用于直接过滤器的过滤标准被配置为过滤第一数据集的不包括在将主数据集(primary data set)与次数据集(secondary data set)链接的第一列中的数据元素。可以在执行数据混合操作之前应用直接过滤器和间接过滤器，以指定在客户端接口处的可视化中显示第一数据集和第二数据集的哪些列。间接过滤可以从由数据混合操作得到的数据集中去除不必要的行。

在一个实施例中，数据混合操作包括生成运行时间工件(artifact)，运行时间工件表示包括第一过滤结果数据集和第二过滤结果数据集的计算图。直接过滤器可以包括被配置为从第一过滤结果数据集中排除一个或多个数据元素的排除过滤器。可以应用多个间接过滤器，并且可以使用逻辑语句来组合得到的过滤数据集。