[发明专利]一种基于SPARK的分布式空间二级索引与范围查询算法

摘要

一种基于SPARK的分布式空间二级索引与范围查询算法，属于数据查询领域，为了解决非行键属性实时范围查询的问题，框架由以下几部分组成：客户端、Spark计算模块、HBase数据处理模块；算法执行如下：在HBase数据处理模块和Spark计算模块的Schema基础上调用SparkContext提供的API建立HBase的原始数据的RDD，RDD经过不断转化形成二级索引存放在Spark Memory中，效果是提高了大规模空间数据范围查询的效率。

主权项

1.一种基于SPARK的分布式空间二级索引与范围查询算法，其特征在于：给定一个空间对象集合S，再给定一查询点P＝(Lng,Lat)和查询半径d，在集合S中存在集合R＝{R₁,R₂...R_i}与查询点P距离小于d，记为RQ(P,S)：范围查询算法使用两阶段处理策略，第一阶段是索引的筛选，首先需要计算出查询目标大致所在的GeoHash单元网格，称作MBR，通过查找RDD中的索引表单元筛选出所有MBR作为候选集，第二阶段是遍历求精，通过二次计算与查询点的距离从候选集中求得满足查询要求的最终结果；将构建的索引转为RDD的形式被存储到内存中，在进行范围查询的时候，利用Spark的转化操作算子mapPartitions并行执行查询任务；在空间二级索引的支持下，基于Spark的范围查询的详细过程如算法如下：已知查询点p的空间位置信息和查询范围d；首先，调用geo对象的getGeoCode方法，此方法封装了以给p为圆心，d为半径画圆，返回落在圆内和与圆相交的编码区域，得到结果集所在的GeoHash编码区域集合Kn；然后，子节点收到task任务后对空间索引RDD的分片进行检索，将检索结果并入结果集；最后，通过再次扫描筛掉结果集中实际距离大于查询范围d的数据，并返回最终结果。