[发明专利]一种面向分位数查询的概要数据动态分裂与维护方法

摘要

本发明涉及一种面向分位数查询的概要数据动态分裂与维护方法。该方法首先对写入的数据项进行采样，构建q‑digit概要数据；然后按照q‑digit后序遍历的分位数查询规则，查询q‑digit概要数据中数据项的中间点；然后以中间点为基础逆序遍历q‑digit概要数据，建立分割路径，根据分割路径把q‑digit概要数据分裂成两个数据量近似均等的概要数据结构；分裂以后每个结构仍然是独立的q‑digit结构，可以正常接收并处理新到达的数据源。本发明可用于分布式环境下q‑digit概要数据的动态管理，有效支持大数据环境下概要数据的维护与管理，有效支持分位数查询与计算。

主权项

1.一种分布式环境下面向分位数查询的概要数据动态维护方法，其特征在于，在负载出现不均衡时，或者需要增加新处理设备时，采用以下步骤对概要数据进行分裂操作，将一部分数据分摊到其他处理节点上，分裂以后的概要数据独立的支持分裂以后的数据区间内的数据查询：1)对写入的数据项进行采样，构建q‑digit概要数据；2)按照q‑digit后序遍历的分位数查询规则，查询q‑digit概要数据中数据项的中间点；3)以中间点为基础逆序遍历q‑digit概要数据，建立分割路径，根据分割路径把q‑digit概要数据分裂成两个数据量近似均等的概要数据结构；所述q‑digit概要数据的数据组织结构为树形结构，所述树形结构的节点分为根节点、叶节点和内节点，其中内节点满足以下两个条件：(1)(2)其中count(v)表示节点v的值，表示向下取整，v_p是v的父节点，v_s是v的兄弟节点，n是所有数据项的第一范数，k是设定的压缩参数。