[发明专利]基于ArcGIS的矢量数据并行处理方法及系统

说明书

本发明公开了一种基于ArcGIS的矢量数据并行处理方法及系统，首先获取待处理的矢量图层的空间范围，将其划分为多个子空间范围，构造多个子任务信息，然后启动多个进程，设置ArcGIS矢量数据处理工具的环境变量参数，调用ArcGIS的矢量数据处理工具并行执行多个子任务，第一个完成的子任务将结果图层拷贝到结果数据库中，其它子任务的结果数据依次追加到结果图层中。本发明能够将矢量大数据处理任务在空间上进行划分，生成多个计算子任务，利用ArcGIS矢量数据处理工具的环境变量参数，采用多进程技术并行调用多个ArcGIS矢量数据处理工具，对各个子任务进行并行处理，可实现ArcGIS矢量数据处理的并行加速，从而提高ArcGIS对矢量大数据的处理效率。

技术领域

本发明涉及高性能地理空间计算技术，尤其是一种基于ArcGIS的矢量数据并行处理方法及系统。

背景技术

矢量大数据的快速实时处理是高性能空间计算中需要解决的关键问题之一，在多核集群并行计算环境中，采用多线程或多进程技术可以充分利用并行计算资源，实现计算密集型任务的并行加速。由于矢量数据的存储和计算均较为复杂，现有的ArcGIS矢量数据处理工具不能利用并行计算资源对矢量大数据进行并行处理，导致矢量大数据的处理效率低、计算资源利用率低。

发明内容

本发明要解决的技术问题在于，针对上述的现有的ArcGIS矢量数据处理工具不能利用并行计算资源对矢量大数据进行并行处理，导致矢量大数据的处理效率低、计算资源利用率低的技术缺陷，提供了一种基于ArcGIS的矢量数据并行处理方法及系统。

根据本发明的其中一方面，本发明为解决其技术问题，提供了一种基于ArcGIS的矢量数据并行处理方法，包括以下步骤：

S1、获取任务划分数量n、待处理的矢量数据所在的空间数据库、图层名、结果图层名及矢量数据处理操作类型；

S2、调用ArcGIS的IWorkspaceFactory接口连接待处理的矢量数据所在的空间数据库，然后调用ArcGIS的IFeatureWorkspace接口打开矢量图层，获得图层名对应的待处理的矢量图层对象；

S3、调用ArcGIS的IGeoDataset接口获取所述图层名对应的待处理矢量图层的对象空间矩形范围extent；

S4、将空间矩形范围extent分解为n个子空间矩形范围；

S5、生成n个矢量数据处理子任务，每个子任务的信息包括步骤S1中获取的待处理的矢量数据所在的空间数据库、图层名、结果图层名、矢量数据处理操作类型和步骤S4步中获得的子空间矩形范围；初始化已完成的任务数fn＝0；用整型数组es[]存储每个子任务的执行状态，第一数值表示任务未完成，第二数值表示任务已完成，每个子任务的执行状态的初始值均置为第一数值；用整型数组fs[]存储每个子任务的结果处理状态，第三数值表示结果数据未处理，第四数值表示结果数据已处理，每个子任务的结果处理状态的初始值均置为第三数值；

S6、启动n个进程，将步骤S5中的n个子任务信息作为进程启动参数分别传递给各个进程，各个进程根据矢量数据处理操作类型分别调用ArcGIS的GP工具并行执行n个子任务，其中的子空间矩形范围用于控制GP工具处理的矢量数据空间范围，通过调用GP工具的SetEnvironmentValue接口进行设置，子任务完成后将对应的执行状态置为第二数值；

S7、依次访问整型数组es[]和整型数组fs[]数组变量中的各个数据项，循环检测各个子任务的执行状态和结果处理状态，获得一个执行已完成但结果数据未处理的子任务，每次检测均从第0个子任务开始，直到找到一个es[i]＝第二数值且fs[i]＝第三数值的子任务，如果找到，获取找到的子任务索引ti，转至步骤S8，否则继续步骤S7进行检测；

S8、判断fn是否等于0，如果fn等于0，转至步骤S9，如果fn不等于0，转至步骤S10；