[发明专利]一种大数据多区间查询条件下的基数估计方法及装置

权利要求书

1.一种大数据多区间查询条件下的基数估计方法，其特征在于，包括以下步骤：

步骤1：按照数值属性对大数据预先划分成多个分区，每个分区内保存所述大数据中的一段数据源，各个分区之间有序排列；

步骤2：建立树形索引结构，每个分区作为树形索引结构的一个节点，每个节点用于记录对应的分区的最大值和最小值，每个节点中设置数据文件和基数估算器；

步骤3：获取待写入树形索引结构的数据源，对支持区间查询条件的数据源进行倒排索引处理；

步骤4：将经过倒排索引处理的数据源的相应部分分别写入数据文件及基数估算器内；

步骤5：根据区间查询条件在树形索引结构中查询满足区间查询条件的节点，得到节点中的基数估算器，对基数估算器中的数据源的相应部分进行逻辑处理，得到基数估算值。

2.根据权利要求1所述的大数据多区间查询条件下的基数估计方法，其特征在于，所述步骤3具体为：为每个待写入的数据源分配一个全局唯一的ID,将每个数据源分别拆分为<value,ID>结构。

3.根据权利要求1所述的大数据多区间查询条件下的基数估计方法，其特征在于，所述步骤4具体为：将<value,ID>结构中的value写入相应的节点内的数据文件中，ID利用哈希算法写入节点内的基数估算器中。

4.根据权利要求3所述的大数据多区间查询条件下的基数估计方法，其特征在于，所述步骤5具体为，当区间查询条件覆盖的区间为多个分区时，返回该多个分区内所有基数估算器，将全部基数估算器利用哈希算法进行合并，得到合并后的符合查询条件的全部基数值；

当区间查询条件覆盖的区间为部分分区，返回该部分分区所在的分区内的数据文件，得到数据文件中的精确的value值。

5.根据权利要求1至4任一所述的大数据多区间查询条件下的基数估计方法，其特征在于，所述步骤3和步骤4之间还包括：

步骤2-1：建立临时表结构，所述临时表结构与树形索引结构中各个节点的结构相同；

步骤2-2：根据待写入的数据源，在临时表结构中利用二分法查找到对应的节点，将待写入的数据源写入该临时表结构中的节点中；

步骤2-3：将临时表结构中每个节点中的数据文件存储于树形索引结构中对应的数据文件的末尾，将临时表结构中每个基数估算器与树形索引结构中对应的技术估算器进行合并。

6.一种大数据多区间查询条件下的基数估计装置，其特征在于：包括划分模块（1），建立模块（2），倒排模块（3），写入模块（4）和查询模块（5）；

所述划分模块（1），用于按照数值属性对大数据预先划分成多个分区，每个分区内保存所述大数据中的一段数据源，各个分区之间有序排列，将各个分区的信息发送给建立模块（2）；

所述建立模块（2），用于接收所有分区的信息，建立树形索引结构，每个分区作为树形索引结构的一个节点，每个节点用于记录对应的分区的最大值和最小值，每个节点中设置数据文件和基数估算器，将树形索引结构的信息、数据文件和基数估算器的信息发送给写入模块（4）；

所述倒排模块（3），用于获取待写入树形索引结构的数据源，对支持区间查询条件的数据源进行倒排索引处理，将经过倒排索引处理的数据源发送给写入模块（4）；

所述写入模块（4），用于接收经过倒排索引处理的数据源，将经过倒排索引处理的数据源的相应部分分别写入数据文件及基数估算器内，将写入数据源后的树形索引结构的信息、数据文件和基数估算器的信息发送给查询模块（5）；

所述查询模块（5），用于接收写入数据源后的树形索引结构的信息、数据文件和基数估算器的信息，根据区间查询条件在树形索引结构中查询满足区间查询条件的节点，得到节点中的基数估算器，根据基数估算器中的数据源的相应部分，得到存储于数据文件中的基数估算值。

7.根据权利要求6所述的大数据多区间查询条件下的基数估计装置，其特征在于，所述倒排模块（3）具体用于：为每个待写入的数据源分配一个全局唯一的ID,将每个数据源分别拆分为<value,ID>结构。

8.根据权利要求6所述的大数据多区间查询条件下的基数估计装置，其特征在于，所述写入模块（4）具体用于：将<value,ID>结构中的value写入相应的节点内的数据文件中，ID利用哈希算法写入节点内的基数估算器中。