[发明专利]移动医疗的倒排泰森多边形的分布式时空索引的代表点获取方法

说明书

本申请为申请号2017109759923、申请日2017-10-19、发明名称“移动医疗的倒排泰森多边形的分布式时空索引方法及应用”的分案申请。

技术领域

本发明属于数据索引领域，涉及大数据处理与空间查询算法应用。

背景技术

随着移动通信和基于位置服务相关技术的快速发展，云计算、大数据、物联网、移动计算以及空间定位等技术也逐步成熟，而GPS、摄像头、蓝牙数据等也在不断的增加，涌现了大量的空间数据，这使得各种空间数据或对象的存储与处理中面临着巨大的挑战。

数据进行大数据处理时，经常会遇到运算时间长、时空数据查询效率低的问题。而传统计算机的运算体系因为只支持有限的线程，所以并行与分布式性能差，单机的计算资源常常有限(如受限于硬盘或内存的大小，CPU单元计算能力不强等)而无法直接应用。

索引对大规模数据访问效率有着重要的影响。新的空间索引方法需要引入到传统的数据库处理引擎中，从而出现了R-tree结构。R-tree相当于二维B+树索引在多维数据环境下的扩展。目前基于R-tree索引的来进行最近邻(Nearest Neighbor,NN)查询的算法有很多，但这些方法都集中在单独的计算机上单线程执行任务。当数据规模迅速增长时，就要应用分布式数据库系统来进行索引与数据查询等处理了。

发明内容

为了提高现有数据查询方法索引效率，本发明提供如下方案：一种移动医疗的倒排泰森多边形的分布式时空索引方法，其步骤如下：

使用Spark来构建基于倒排Voronoi图索引，3维空间中给定两个医疗相关数据集R和S，R是医疗资源数据集，其包括位置数据集，S为患者数据集，其包括位置数据，把这两个数据集上传到HDFS中，Spark按默认机制进行分片，部分mappers同时并行运行，在Spark任务中使用默认的reducer，在启动map函数之前，使用预聚类算法得到一个区域的医疗资源的代表点p，并加载到每个map的主存中；

在每一个map处理进程中，它将依次利用TextInputFormat来读取输入的分片，TextInputFormat以流的方式将文件读取数据到Mapper的实例中；

计算每一个医疗资源数据r对象，患者数据s对象与代表点p之间的距离，并将r，s分配给最接近的代表点P，在算法中，每个对象的医疗资源最接近的代表点都被聚集在一个Voronoi单元格中，它将产成m个Voronoi单元格，程序在执行时输出<VCm，List(P_i)>对，mapper输出原始数据集到最靠近的分区的每一个对象r、s及其分区VC_m的id；将mapper输出到Spark的文件系统。

Voronoi图将一个空间划分为多个不相交的多边形，在每个多边形中的某一个点的最近邻均位于该点所在的Voronoi单元格内，图中的每个多边形称为与点p相关联的Voronoi单元格，点p所在的单元格内的任何点都是p的最近邻。

倒排Voronoi索引包含两个部分：主索引，包括所有的聚类中心；第二索引，包括储存在每个分区VC的对像队列。

代表点的获取方法，确定内部聚类点与相邻点，将内部聚类点的数据聚类，聚类后选出聚类中心进行索引，所需数据为与内部聚类点连接的相邻点，以这个内部聚类点为圆心，包含相邻的聚类中心点建立圆，以这个圆为外接圆的三角形作为Delaunay三角形，本方法中将两个不同的内部聚类点分别建立Delaunay三角形，这两个Delaunay三角形以相邻点为共同点建立Delaunay三角网，将数据对象分割为几个大分区，选择其中一聚类代表点成为代表点，被划分的每个对象以被聚类在一个Voronoi单元中，每个Voronoi网格中含有对象id。

Voronoi图由VD(p)＝{V(p₁),V(p₂),...,V(p_m)}，其中：VD(p)是关于P的Voronoi图合集，V(p₁)是p1的Voronoi图，给出的与所有的点相关联的集合，被称为p产生的遵循距离函数Dist()的Voronoi图，这里每个p点的Voronoi图一定包括比其他任何点更接近q的所有点，因而一个查询点q的近邻是闭合的Voronoi图；