[发明专利]一种并行空间叠加计算中的任务拆分方法及装置

说明书

本发明适用于地理信息技术领域，提供一种并行空间叠加计算中的任务拆分方法及装置，所述方法包括：输入两个地理要素集；根据所述两个地理要素集的地理范围，确定参与计算的地理范围；将所述参与计算的地理范围划分为若干个地理格网；将两个地理要素集中的要素标记ID；将被标记的两组地理要素集中有相同格网ID的要素作为一个任务单元，并将其在同一计算节点上计算，不同的任务单元分布在不同节点上执行，输出结果要素集；将所述结果要素集进行合并，得到最终的计算结果；输出结果要素集。本方法满足MapReduce思想，可用于Hadoop、Spark等大数据计算框架。

技术领域

本发明属于地理信息技术领域，尤其涉及一种并行空间叠加计算中的任务拆分方法及装置。

背景技术

随着国家大数据战略逐步落地，政府部门的数据资产日益完善，数据总量和数据质量在不断提高。传统的单机算法已经不能满足应用需要，比如计算全省范围内2016年至2017年的土地变更情况。

目前常见的并行地理要素叠加分析的任务拆分方法：

根据叠加规则和两个要素集的地理范围，计算出参与计算的地理范围，再将地理范围划分成m*n的地理格网；

将要素集中完全包含在地理格网内部的要素作为一组，即是m*n组，也就是两个要素集分别有m*n组计算任务；

计算任务编号相同的两组要素独立计算，多组计算任务可分配在多个计算节点上并行执行；

在地理格网边线上的要素单独作为一组，与另一个要素集的全集作为一个任务，并将此任务在一个独立的计算节点执行。

将各节点上的执行结果进行合并。

上述方法流程不能很好的适应Spark框架，不符合Map/Reduce思想，同时，存在数据倾斜问题；另外，格网的稀疏密度会影响跨格网要素的数量，如果格网稀疏，那么单个格网内的要素会变多，如果格网密集，那么跨格网要素就会变多，这种任务拆分方式很容易造成单个计算节点压力过大，以至于溢出。

发明内容

鉴于上述问题，本发明的目的在于提供一种并行空间叠加计算中的任务拆分方法及装置，旨在解决现有地理要素叠加分析的任务拆分方法不能很好的适应Spark框架及可能会导致单个任务所计算的数据量过大，使系统出现单点故障等技术问题。

本发明采用如下技术方案：

所述并行空间叠加计算中的任务拆分方法包括如下步骤：

S1、输入两个地理要素集；

S2、根据所述两个地理要素集的地理范围，确定参与计算的地理范围；

S3、将所述参与计算的地理范围划分为若干个地理格网；

S4、将两个地理要素集中完全包含在地理格网内部的要素标记相应的格网ID，对于跨边界的要素做切割操作得到子要素，并将包含在地理格网内部的子要素标记对应的格网ID，最后得到两组被标记的地理要素集；

S5、将被标记的两组地理要素集中有相同格网ID的要素作为一个任务单元，并将其在同一计算节点上计算，不同的任务单元分布在不同节点上执行，输出结果要素集；

S6、将所述结果要素集进行合并，得到最终的计算结果；

S7、输出结果要素集。

进一步的，每个地理要素集具有一个要素集ID，地理要素集中的各要素具有一个要素ID，步骤S5输出的结果要素集中每个要素均标记Key，用于记录结果要素集中各要素来源，所述Key由两个要素集ID和两个要素ID共四个元素组成；

步骤S6中，将结果要素集中具有同Key的要素进行合并。