[发明专利]一种大数据多区间查询条件下的基数估计方法及装置

摘要

本发明涉及一种大数据多区间查询条件下的基数估计方法及装置，包括以下步骤：按照数值属性对大数据预先划分成多个分区；建立树形索引结构，每个分区作为树形索引结构的一个节点；获取待写入树形索引结构的数据源，对支持区间查询条件的数据源进行倒排索引处理；将经过倒排索引处理的数据源写入树形索引结构中的节点内，将数据源的相应部分分别写入数据文件及基数估算器内；根据区间查询条件在树形索引结构中查询满足区间查询条件的节点，得到节点中的基数估算器，对基数估算器进行逻辑处理，得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率，在任意多区间查询条件下，具备较高的查询效率，使用了大数据增量更新技术提高索引数据在线更新效率。

主权项

一种大数据多区间查询条件下的基数估计方法，其特征在于，包括以下步骤：步骤1：按照数值属性对大数据预先划分成多个分区，每个分区内保存所述大数据中的一段数据源，各个分区之间有序排列；步骤2：建立树形索引结构，每个分区作为树形索引结构的一个节点，每个节点用于记录对应的分区的最大值和最小值，每个节点中设置数据文件和基数估算器；步骤3：获取待写入树形索引结构的数据源，对支持区间查询条件的数据源进行倒排索引处理；所述步骤3具体为：为每个待写入的数据源分配一个全局唯一的ID,将每个数据源分别拆分为<value,ID>结构；步骤4：将经过倒排索引处理的数据源的相应部分分别写入数据文件及基数估算器内；所述步骤4具体为：将<value,ID>结构中的value写入相应的节点内的数据文件中，ID利用哈希算法写入节点内的基数估算器中；步骤5：根据区间查询条件在树形索引结构中查询满足区间查询条件的节点，得到节点中的基数估算器，对基数估算器中的数据源的相应部分进行逻辑处理，得到基数估算值。