[发明专利]基于Voronoi图的分布式时空索引方法

说明书

技术领域

本发明属于数据索引领域，涉及大数据处理与空间查询算法应用。

背景技术

随着移动通信和基于位置服务相关技术的快速发展，云计算、大数据、物联网、移动计算以及空间定位等技术也逐步成熟，而GPS、摄像头、蓝牙数据等也在不断的增加，涌现了大量的空间数据，这使得各种空间数据或对象的存储与处理中面临着巨大的挑战。

数据进行大数据处理时，经常会遇到运算时间长、时空数据查询效率低的问题。而传统计算机的运算体系因为只支持有限的线程，所以并行与分布式性能差，单机的计算资源常常有限(如受限于硬盘或内存的大小，CPU单元计算能力不强等)而无法直接应用。

索引对大规模数据访问效率有着重要的影响。新的空间索引方法需要引入到传统的数据库处理引擎中，从而出现了R-tree结构。R-tree相当于二维B+树索引在多维数据环境下的扩展。目前基于R-tree索引的来进行最近邻(Nearest Neighbor,NN)查询的算法有很多，但这些方法都集中在单独的计算机上单线程执行任务。当数据规模迅速增长时，就要应用分布式数据库系统来进行索引与数据查询等处理了。

发明内容

为了提高现有数据查询方法索引效率，本发明提供如下方案：

一种基于Voronoi图的分布式时空索引方法，其步骤如下：使用Spark构建造倒排Voronoi索引，给定d维空间中两个数据集R和S，Spark按默认机制进行分片，部分mappers同时并行运行，在Spark任务中使用默认的reducer，在启动map函数之前，使用预聚类算法得到代表点p,并将其加载到每个map的主存中；

在每一个map处理进程中，依次利用TextInputFormat来读取输入的分片，TextInputFormat从文件读取数据到Mapper的实例中，分别计算数据集R中的每一个对象r，数据集S中的每一个对象s对象与代表点p点之间的距离，并将对象r，s分配给最接近的代表点P；R中具有m个对象r，一个对象r与任意对象s的最接近的代表点都被聚集在一个Voronoi单元格中，由此产成m个Voronoi单元格作为分区，输出<VCm，List(P_i)>对，给定查询点p，判别其最邻近的分区或最一些邻近的分区集，mapper输出原始数据集中的到最邻近的分区或最邻近的分区集的每一个对象r、s及其分区VC_m的id；将mapper输出到Spark的文件系统。

Voronoi图将一个空间划分为多个不相交的多边形，在每个多边形中的某一个点的最近邻均位于该点所在的Voronoi单元格内，图中的每个多边形称为与点p相关联的Voronoi单元格，点p所在的单元格内的任何点都是p的最近邻。

倒排Voronoi索引包含两个部分：主索引，包括所有的聚类中心；第二索引，包括储存在每个分区VC的对像队列。

代表点的获取方法，确定内部聚类点与相邻点，将内部聚类点的数据聚类，聚类后选出聚类中心进行索引，所需数据为与内部聚类点连接的相邻点，以这个内部聚类点为圆心，包含相邻的聚类中心点建立圆，以这个圆为外接圆的三角形作为Delaunay三角形，本方法中将两个不同的内部聚类点分别建立Delaunay三角形，这两个Delaunay三角形以相邻点为共同点建立Delaunay三角网，将数据对象分割为几个大分区，选择其中一聚类代表点成为代表点，被划分的每个对象以被聚类在一个Voronoi单元中，每个Voronoi网格中含有对象id。

Voronoi图由VD(p)＝{V(p₁),V(p₂),...,V(p_m)}，其中：VD(p)是关于P的Voronoi图合集，V(p₁)是p1的Voronoi图，给出的与所有的点相关联的集合，被称为p产生的遵循距离函数Dist()的Voronoi图，这里每个p点的Voronoi图一定包括比其他任何点更接近q的所有点，因而一个查询点q的近邻是闭合的Voronoi图；