[发明专利]包含大规模低功率集群的异构数据库系统中的联接的有效下推

说明书

技术领域

本发明一般涉及数据库管理系统，更特别地，涉及优化集群辅助RDBMS中的联接(join)处理。

背景技术

查询处理已对于基于盘的系统被优化，原因是这些系统可保持处理在其上面操作的非常大的表。查询处理中的一般操作包括产生这些大表的联接，但联接会引起盘系统的许多错误，从而降低性能。在多个服务器提供大量的需要的存储器的同时定位存储器中的表会提高性能。但是，该较高的性能是以服务器的高功耗为代价的。

多个服务器的替代方案是低功率节点的集群(cluster)，这些节点中的每一个具有低功率处理器、适量的存储器，并且没有虚拟化存储器的永久存储装置。但是，集群可具有非常多节点，事实上，节点数以千计。大量节点的集合(aggregate)存储器和处理功率提供了多个服务器的益处，但功率较低。

给定集群的高处理功率和低功耗，希望优化集群的查询处理，使得它可以以较高的性能处理甚至更大的表。由于集群缺少永久存储装置和对事务记录的访问，因此，集群不能承担查询处理需要的所有数据库管理任务。集群必须与常规的关系数据库管理服务器(RDBMS)接口以获得集群在其上面操作的表或表的部分，并且它必须依赖于RDBMS以保持事务一致性。异构系统即常规的RDBMS服务器和集群对查询处理提供较高性能和较低功率的可能性。为了从这种系统获得最大性能，需要在集群与RDBMS之间最佳地分配诸如联接操作的查询处理的机制。

附图说明

图1示出实施例的总体操作的流程图；

图2示出估计在集群中执行联接操作的成本的流程图；

图3示出广播联接操作；

图4示出分割联接操作；

图5示出与集群耦合的RDBMS；

图6示出关系包含未处理块的联接；

图7示出实施例操作的示例性系统。

具体实施方式

在以下的描述中，出于解释的目的，为了能够彻底地理解本发明，阐述大量特定的细节。但是，很显然，可以在没有这些特定细节的情况下实施本发明。在其它情况下，为了避免不必要地混淆本发明，以框图形式表示公知的结构和装置。

概要

图1所示的实施例确定RDBMS与集群之间的工作的最有效的分配。在步骤102中，实施例估计在RDBMS中执行诸如联接的操作的成本，并且，在步骤104中，估计执行借助于集群执行该操作的成本。实施例在步骤106中比较两个估计成本并且在具有最低的成本的状态执行操作。如果如步骤108那样在RDBMS中执行联接，那么成本只是向RDBMS发送关系并且在RDBMS中执行联接的成本。如果如步骤110那样借助于集群执行联接，那么获得集群的性能益处会带来附加成本。在图1中，这些附加成本不包含在RDBMS中完成联接112，原因是在任意情况下都会出现联接的完成。

使用集群的附加成本依赖于联接的类型以及是否存在任何分块(blocking)操作。如图2所示，联接的类型包含广播联接和分割(partitioned)联接。

在广播联接中，如果关系中的一个根据在图2的步骤202中所确定的足够小以适合(fit in)集群的每个单元，那么它被广播到集群中的所有处理单元。如在步骤204中确定的那样，该联接的附加成本包含广播和在各处理单元中将小关系和大关系的一部分联接的成本。

在图2所示的分割的联接中，要联接的各关系基于联接列(join column)被分割(partition)，并且，各单独的分割通过集群中的各单独的处理单元被处理。如在步骤206中确定的那样，该联接的附加成本包含分割和联接各关系的分割的成本。

如图2的步骤208所示，分块操作带来附加成本。诸如分类和分组的这些操作在可产生任何输出行之前读取所有的输入行，由此防止完全在集群中执行其它依赖性操作。相反地，必须在RDBMS中执行操作的一部分。具体而言，RDBMS必须集成/合并分块操作的结果，在集群中的处理单元之间分割结果，并且合并来自处理单元的结果。分块操作由此带来向RDBMS发送分块操作的结果的附加成本、在RDBMS中分割的成本和将分割送回集群中的处理单元的成本。

如图2的步骤210所示，不仅带来使用集群的附加成本，而且影响事务处理的其它方面。具体而言，在集群中执行操作影响RDBMS中的并行度并且要求RDBMS确保事务一致性。

详细讨论