[发明专利]一种地理空间数据在云计算平台上的负载均衡方法

说明书

技术领域

本发明涉及一种地理空间数据在云计算平台上的负载均衡方法，属于云计算技术领域。

背景技术

云计算是一种商业计算模型将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。现在google公司和开源云计算平台hadoop等都使用map-reduce平行计算模型。该模型为海量数据的处理提供了一个通用、高效的技术框架，从而在地理空间数据查询处理、数据挖掘等领域得到了越来越广泛的应用。

地理空间数据是多维数据，基于map-reduce的地理空间数据处理首先要将多维的空间目标映射成一维的目标（key/value键值对）。常用的方法是采用希尔伯特或Z-排序等空间填充曲线编码分块。由于地理数据的空间分布一般是不均匀的，编码后的数据分块的数据信息量也不同。如何找到一种分配方法，将这些数据分块按数据量均匀的分配给各个map节点，对改进云计算平台的负载均衡、提高处理效率具有重要意义。

已有的并行空间数据库中的数据分配方法（如轮转法、散列法等）均是按数据块或元组的个数进行平均分配，并不能保证数据处理量的平衡，且易破坏数据块之间的空间拓扑关系。而面向云计算map-reduce模型的空间数据分配方法的研究尚处于起步阶段，相关工作还不成熟。

Ariel Cary等人提出了在对Z-排序编码的海量地理空间数据处理前进行采样处理，然后根据采样样本和映射节点的数目，按个数将采样样本均分给映射节点。该文对海量数据采用了采样策略，然而未考虑海量数据的不均衡性，这样可能导致各个映射节点中的数据量大小不一致，使得mapreduce处理时负载失衡。

Shubin Zhang等人提出了海量的地理空间数据在空间分布上是不均衡的，提出了基于空间填充曲线编码和轮转法相结合的数据分配均衡方法。但该方法也没有考虑数据分块之间的不均匀性，以及数据分块之间的拓扑关系。这将导致mapreduce模型的整体运行效率下降。

发明内容

本发明针对上述背景技术的不足，提供了一种地理空间数据在云计算平台上的负载均衡方法，该方法在处理海量的地理空间数据时，在考虑各个数据分块相关性的前提下，为使map-reduce模型更有效的工作，综合了三种算法（均值法、回溯法、二分法）各自的优缺点之后，得到一个整体的算法，能均衡地将地理空间数据分配给各个映射节点进行处理。

本发明为实现上述发明目的采用如下技术方案：一种地理空间数据在云计算平台上的负载均衡方法，其特征是：对地理空间数据进行希尔伯特（Hilbert）空间填充曲线排序，根据地理空间数据所划分的数据块和云平台处理时映射（map）节点的数量，对数据块进行采样，得到采样数据块；然后对采样数据块进行判断是否适合使用均值法，若适合则直接求解划分，不适合则再判断是否适合使用回溯法，若适合则直接求解划分，不适合则按照二分法，将采样数据块和映射节点数分成两部分，对每一部分重复上面的操作，直到所有的采样数据块对应分配到各个映射节点为止。最后，将各采样数据块所对应的相邻数据块分配给各个映射节点进行处理。具体包括如下步骤：

步骤1，将地理空间数据按照希尔伯特（Hilbert）空间填充曲线划分为一个按照空间分布规律编号递增的数据块集合，设划分后的总数据块数为按照采样间隔进行采样，得到采样数据块数为N，设s、p分别表示采样数据块的数据量数列和最后要分割的位置数列，M为要分配的映射（map）节点总数，n₁为首采样数据块序号，n₂为尾采样数据块序号，m₁为首映射节点序号，m₁为尾映射节点序号，n=n₂-n₁+1，m=m₂-m₁+1；对于给定的s，按照如下的方法找到一个分割方案，使得每个映射节点要处理的数据量尽量均衡；

步骤2，定义数据块平均数据量满足判断是否满足均值法条件若成立，则利用均值法分配，否则进入步骤3；

步骤3，判断是否满足回溯法的条件取若成立，则利用回溯法分配，否则进入步骤4；

步骤4，利用二分法将采样数据块和映射节点分成两部分，每部分分别进入步骤2继续分配；

步骤5，上述步骤结束后，根据最后的分配结果p[1]到p[M]，将各采样数据块所对应的相邻N_s个数据块分配给各个映射节点进行处理；

其中：

a)均值法：