[发明专利]分组聚集排序TopK查询处理方法及系统

摘要

本发明涉及一种分组聚集排序TopK查询处理方法及系统。分组聚集排序TopK查询处理方法包括接收分组聚集排序TopK查询请求；各分布式数据节点根据所述查询请求，进行本地数据分组聚集，并将自身的分组聚集数据异步传输到集中处理节点；所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并，并采用近似高频项统计算法进行统计，得到聚集排序后的高频项列表；输出所述高频项列表。本发明的分组聚集排序TopK查询处理方法及系统灵活性好，查询效率高，分布式适应性好。

主权项

一种分组聚集排序TopK查询处理方法，应用于分布式数据存储系统，其特征在于，包括：步骤一，接收分组聚集排序TopK查询请求；步骤二，各分布式数据节点根据所述查询请求，进行本地数据分组聚集，并将自身的分组聚集数据异步传输到集中处理节点；步骤三，所述集中处理节点采用哈希表结合二叉平衡树的数据结构对各分布式数据节点的分组聚集数据进行数据合并，并采用近似高频项统计算法进行统计，得到聚集排序后的高频项列表；所述步骤三包括：初始化第二数据项队列和TopK队列，第二数据项队列为集中处理节点的数据项队列，所述第二数据项队列包括第二哈希表和第二双向链表，第二哈希表用于保存分组内容，第二双向链表用于保存第二哈希表中分组内容对应的保存地址，TopK队列包括第三哈希表、二叉平衡树和树内链表，并设置第二计数值，所述第二计数值为所述第二哈希表表项个数；对于每一个新数据项item，依次判断第二数据项队列和TopK队列中是否存在对应的分组内容；根据判断结果进行数据合并；将二叉平衡树调整至平衡；待所有新数据项都处理完毕后，后根遍历TopK队列，得到聚集排序后的高频项列表；步骤四，输出所述高频项列表。