[发明专利]一种数据聚合查询的方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据聚合查询的方法及装置。

背景技术

随着大数据时代到来，与传统数据分析相比，现在遇到了更大的挑战，一方面是数据量的爆炸式增长，另一方面是数据类型的增加。Hadoop应运而生，解决了数据离线分析的难题，但对于实时的数据分析，由于Hadoop自身的特点，不能应用在实时的数据分析，因此，并行数据库依然是实时的数据分析的主要工具。在并行数据库系统中，聚合查询和关联查询是执行数据分析的主要方法。并行数据库的查询涉及到集群中的多个节点，如果直接在各节点上执行聚合查询，最终很可能会得到一个错误的结果。为保证结果的正确性，现有的并行数据库聚合查询的执行方式，主要是通过将分布在多个节点中的数据汇聚到一个节点后，由这一关节点执行聚合查询，这种聚合查询的执行方式，在将多个节点中的数据汇聚到这一个节点的过程，需要传输大量的原始数据，数据传输的网络通信开销很大，且仅由一个节点对汇聚到该节点上的大量数据执行聚合查询处理，受该节点的数据处理能力限制，现有的数据聚合查询能效率不高。

综上，现有的并行数据库聚合查询方案是将数据汇聚到一个节点后执行聚合，加剧了网络通信开销，且限制了并行数据库聚合查询的效率。

发明内容

本发明实施例提出了一种数据聚合查询的方法及装置，用以解决现有并行数据库的聚合查询方式存在的数据传输网络通信开销较大，聚合查询效率较低的问题。

本发明实施例提供了一种数据聚合查询的方法，包括如下步骤：

第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；

将第一级节点执行聚合查询后得到的数据汇总至第二级节点；

第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。

本发明实施例提供了一种数据聚合查询的装置，包括：

第一执行模块，用于在第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；

汇总模块，用于将第一级节点执行聚合查询后得到的数据汇总至第二级节点；

第二执行模块，用于在第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。

本发明有益效果：

相对于现有技术中主要是通过将分布在多个节点中的数据汇聚到一个节点后，由这一关节点执行聚合查询的并行数据库聚合查询执行方式，由于本发明实施例提供的数据聚合查询的方法及装置技术方案中，采用分阶段的数据聚合查询执行方式，将由第一级节点对各自存储的数据进行聚合查询得到的结果汇总至第二级节点执行聚合查询，由于第一级节点汇总至第二级节点的聚合查询结果相对于第一级节点聚合查询处理前的原始数据来说，数据量小很多，且将现有技术中仅有一个节点进行的聚合查询的数据，在多个第一级节点上分阶段进行聚合查询，所以，避免了现有的数据聚合查询方案中将所有数据不做处理直接汇总到一个节点进行聚合查询处理造成的网络通信开销较大和聚合查询性能下降的问题，本发明实施例中提供的技术方案有效降低了网络通信开销，提高了数据聚合查询的效率。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1为本发明实施例中提供的数据聚合查询的方法实施流程示意图；

图2为本发明实施例中采用聚合函数进行数据聚合查询的实施流程示意图；

图3为本发明实施例中分组列中不包含数据的分布列时大量数据聚合查询的实施流程示意图；

图4为本发明实施例中提供的数据聚合查询的装置结构示意图。

具体实施方式

为了通过本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例执行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。

本发明实施例提供了一种数据聚合查询的方法，下面进行说明。

图1为本发明实施例提供的数据聚合查询的方法实施流程示意图，如图所示，该数据查询的方法，可以包括如下步骤：

步骤101：第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；

步骤102：将第一级节点执行聚合查询后得到的数据汇总至第二级节点；

步骤103：第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。