[发明专利]基于Spark框架的分布式概要数据结构的构建方法及查询方法

权利要求书

1.一种基于Spark框架的分布式概要数据结构的构建方法，其步骤包括：

在基于Spark框架的分布式环境下，以key,value的形式接收流数据；

获取流数据的数据元素的value值，构建由二叉树可存储内容的节点组成的q-digest结构，将value值插入到q-digest结构相应的叶节点中；该q-digest结构的节点包括BloomFilter、HyperLogLogPlus；

由下向上逐层检查各节点是否满足节点约束条件，所述节点约束条件为：其中节点v非叶节点；其中节点v非根节点；其中，v_p是v的父节点，v_s是v的兄弟节点，k是所述q-digest结构的压缩参数，n是所有节点value值的总和；如果满足，则通过HyperLogLogPlus判断当前BloomFilter是否超出最佳容量，最佳容量是指Bloomfilter中bit数组的位由hash函数设置为1的个数占全部bit位的比率在50％-80％；如果不满足节点约束条件，则向上合并至父节点；

如果BloomFilter未超出最佳容量，则将数据元素的key插入到节点的BloomFilter，否则新建BloomFilter以插入数据元素的key；

将数据元素的key插入到HyperLogLogPlus中，完成分布式概要数据的动态构建。

2.根据权利要求1所述的构建方法，其特征在于，在插入value值时，如果二叉树无法完全容纳value值，则对二叉树进行扩容或对二叉树各节点进行全局压缩。

3.根据权利要求1所述的构建方法，其特征在于，采用Dynamic BloomFilter方法新建BloomFilter。

4.一种基于Spark框架的分布式概要数据结构的查询方法，该基于Spark框架的分布式概要数据结构由权利要求1所述的方法构建，该查询方法的步骤包括：

对于分区查询，首先对流数据的各子流的q-digest结构进行二次采样，抽取顶层概要数据信息，构建全局q-digest结构；再在全局q-digest结构中生成value值查询范围，对满足该查询范围条件的分区进行查询；聚合各分区查询结果并返回；

对于全局查询，首先将流数据的各子流的q-digest结构进行合并，然后对合并后的q-digest结构进行全局查询，得到全局查询结果；其中合并步骤包括：将各子流的q-digest结构的对应层次的节点的计数器进行整数相加；如果BloomFilter未超过最佳容量，最佳容量是指Bloomfilter中bit数组的位由hash函数设置为1的个数占全部bit位的比率在50％-80％，则直接合并BloomFilter；如果BloomFilter超过最佳容量，则将待合并的BloomFilter直接附加到节点的BloomFilter数组中，排序并将含有最小基数的BloomFilter排在最后；合并HyperLogLogPlus，实现各q-digest结构的合并。

5.根据权利要求4所述的查询方法，其特征在于，根据HyperLogLogPlus所记录的基数值判断BloomFilter是否超过最佳容量。

6.根据权利要求4所述的查询方法，其特征在于，查询的方法步骤包括：

根据给定的分位数区间(q₁,q₂)，找出q₁、q₂相对应的分位点，计算出value查询范围[value1,value2]；

后序遍历q-digest结构中的节点，如果当前节点的value被包含在所述查询范围内，则获取该节点对应的BloomFilter；

如果有多个节点的value均被包含在所述查询范围内，则生成节点列表；

测试待查询数据元素的key是否存在于每个节点的BloomFilter中。

7.根据权利要求6所述的查询方法，其特征在于，所述q₁、q₂取值为0q₁q₂1。

8.一种基于Spark框架的分布式概要数据结构的构建及查询系统，包括存储器和处理器，该存储器存储计算机程序，该程序被配置为由该处理器执行，该程序包括用于执行上述权利要求1-3任一所述的构建方法和上述权利要求4-7任一所述的查询方法的各步骤指令。