[发明专利]数据去重查询的实现方法和实现装置

说明书

技术领域

本发明涉及数据库存储领域，具体来说，涉及一种数据去重查询的实现方法和实现装置。

背景技术

消除重复记录是目前数据库系统中常见的查询操作类型，这类查询通常也称作去重查询。比如数据库应用系统通常需要列出所有不相同的记录，或者统计不相同的记录，或者统计不相同的记录的数量。

在单个数据库系统中，目前比较成熟的消除重复的方法主要有排序合并方法和散列合并方法。但是在由多个相互独立的数据库系统组成的数据库集群中，重复记录可能分布在不同的数据库服务器上，而由于数据库节点之间的网络传输和通信的开销，增加了跨节点数据去重查询的处理难度，此时就不能用现有的排序合并方法和散列合并的方法进行消除重复了，基于这一情况，人们想到了利用去重列划分的方式进行消除重复查询，然而，通常针对去重列的Hash数据划分策略，虽然能够很好的减少节点之前的数据交互，但是在面对其他属性的去重查询时，却也不可避免的引入节点之间大量的数据交互，增加了查询处理的复杂度，进而无法解决任意数据列的消除重复查询的问题，而且，现有的利用去重列的方式进行消除重复查询，在对查询结果汇总时，有可能会有重复的计算，使得消除重复查询的效率不是很理想。

针对相关技术中无法解决任意数据列的消除重复查询、以及在查询结果汇总时有重复计算，导致消除重复查询的效率不是很理想的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中无法解决任意数据列的消除重复查询、以及在查询结果汇总时有重复计算，导致消除重复查询的效率不是很理想的问题，本发明提出一种数据去重查询的实现方法和实现装置，能够解决现有相关技术不能在数据库集群上进行大规模数据的去重查询的问题，实现了任意数据列的去重查询。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据去重查询的实现方法。

该数据去重查询的实现方法包括：

对多个数据库节点中的每个数据库节点进行查询，得到查询结果，其中，对于每个查询到多个查询结果的数据库节点，对从该数据库节点查询得到的多个查询结果进行去重操作，并将去重操作得到的结果作为该数据库节点的查询结果；

对多个数据库节点的查询结果进行合并。

其中，在对多个查询结果进行去重操作时，可根据预定的排序方式对需要去重的查询结果进行排序，并基于排序后的查询结果进行去重操作。

其中，在对多个数据库节点的查询结果进行合并时，可对至少两个数据库节点的查询结果进行合并，并且，将合并后的查询结果存储至预定的存储区域内；并对于未合并的数据库节点查询结果，将未合并的数据库节点的查询结果与存储区域内的查询结果进行合并。

可选地，在将未合并的数据库节点的查询结果与存储区域内的查询结果进行合并时，在未合并的数据库节点的查询结果为多个的情况下，将多个未合并的数据库节点的查询结果依次与存储区域内的查询结果进行合并。

可选地，在将未合并的数据库节点的查询结果与存储区域内的查询结果进行合并时，在未合并的数据库节点的查询结果为多个的情况下，将多个未合并的数据库节点的查询结果以批量的方式与存储区域内的查询结果进行合并。

可选地，在将未合并的数据库节点的查询结果与存储区域内的查询结果进行合并时，在未合并的数据库节点的查询结果为多个的情况下，预先将存储区域内的剩余空间划分为多个对应的存储子区域，并将多个未合并的数据库节点的查询结果按照预定的对应关系存储至对应的存储子区域，并在多个未合并的数据库节点的查询结果存储至对应存储子区域后，将存储子区域内的查询结果与存储区域内的原查询结果进行合并。

可选地，对于每个数据库节点，在将去重操作得到的结果作为该数据库节点的查询结果后，按照预定策略对该数据库节点的查询结果进行范围划分，得到多个查询结果组，并且，将每个查询结果组分别发送给与该数据库节点对应的其他数据库节点，以便其他数据库节点根据接收到的查询结果组对其他数据库节点的查询结果进行去重操作。

其中，在按照预定策略对数据库节点的查询结果进行范围划分时，可按照预定的排序方式对数据库节点的查询结果进行排序，并且对排序后的查询结果进行等分。

可选地，在对多个数据库节点的查询结果进行合并后，可对合并的查询结果进行去重操作。

根据本发明的另一方面，提供了一种数据去重查询的实现装置。

该数据去重查询的实现装置包括：