[发明专利]用于大规模集群中的分析型查询处理的自动反规范化

说明书

技术领域

本发明一般涉及数据库管理系统，并且更具体地涉及用于处理存储器中查询的反规范化。

背景技术

数据仓库中的分析型查询处理通常涉及大型数据集合，该数据集合很少以面向批处理的方式被更新。在许多情况下，期望在更大量的数据上执行查询(通常跨越更长的时间段)，但查询处理系统的性能限制了数据集合的大小。

可以通过在存储器中处理查询以及通过增加运行该查询的服务器的数目来改善性能。然而，更多的服务器增加了用于服务器的功率以及与功率相关的基础设施的成本，从而限制了服务器的数量继而限制了数据集合的大小。

作为替代，通过在低功率处理单元的集群中执行存储器中数据库查询，能够在低功率的情况下改善性能。每个处理单元具有低的计算能力，但具有成千上万个处理单元的集群却具有非常高的性能。尽管在集群中的存储器中数据库查询处理改善了性能，但一种查询操作仍然构成挑战。大型表连接(join)的性能不随集群的大小而成比例缩放。因此，需要在大型表连接的存储器中处理的性能方面寻求更大的改善。

附图说明

在附图中：

图1根据一个实施例示出整体操作的流程图；

图2示出常规的连接；

图3和图4示出用于TPC-H工作负荷的数据库架构；

图5根据一个实施例示出发现阶段的流程图；

图6和图7示出用于图3和图4所示的数据库架构的有向图；

图8示出用于图3所示的数据库架构的有向子图；

图9根据一个实施例示出优化阶段的流程图；

图10根据一个实施例示出优化函数的流程图；

图11根据一个实施例示出部署的流程图；及

图12示出实施例在其中运行的系统设置。

具体实施例

在下面的描述中，为了解释的目的，阐明了众多具体的细节以便提供对本发明的全面理解。但是，应当很明显的是，本发明可以在没有这些特定的细节的情况下实施。在其它情况下，众所周知的结构和设备以框图的形式来示出，以便避免不必要地使本发明变得晦涩难懂。

总体概况

一实施例执行大型关系型连接的自动反规范化。使反规范化适合于集群的每个处理单元中的查询工作负荷和存储器量。在图1所示的一个实施例中，自动反规范化具有三个阶段：(i)发现102；(ii)优化104，及(iii)部署106。

在发现阶段中，该实施例为给定的架构构造表和连接条件的表示，并然后分析该表示来找到可能的反规范化的集合。

在优化阶段，任务是选择最好利用了给定存储器量的反规范化。优化阶段具有两个部分，(i)减少每个单独的反规范化所需的存储器量，以及(ii)确定可能的反规范化的最优集合。通过压缩所涉及的表的列或行来减少存储器。通过对每个可能的反规范化计算成本和收益来发现可能的反规范化的最优集合。成本是反规范化所需的存储器量，并且该成本基于查询工作负荷统计数据或基于表的大小。该收益基于被反规范化消除的连接的数量。最优子集包括在可用存储器中以最小成本提供最大收益的那些反规范化。

在部署阶段，该实施例将最优集合中的每个反规范化整合到实时系统中，以便到来的查询能够找到和使用该反规范化。

详细讨论

有许多种类的关系型连接。一种是图2所示的自然连接。在该连接中，基于列DeptName连接两张表，即Employee 202和Dept 204。自然连接被定义为满足条件的两张表中的元组的合并，该条件为元组是兼容的。这意味着这两张表具有至少一个共同的属性。在图2示出的示例中，Employee表和Dept表都具有共同的DeptName。自然连接产生连接表206，该连接表206只具有来自Dept表的、其DeptName列中的值与Employee表中DeptName列中的值相匹配的条目。

另一种连接是笛卡尔连接。如果连接中的两张表没有共同属性，则这种连接产生其中第一张表的每个元组与第二张表的每个元组合并的表。

反规范化指连接的物化，或换句话说，连接的永久存储的数据表示。因此，根据实施例，反规范化可以是例如，连接表206的永久存储的表示。连接的反规范化可以被重新用于要求连接的多个查询的计算，并通过消除重新计算整个连接的需要而提高这种计算的效率。

发现阶段