[发明专利]空间数据批量抽取转换加载方法及装置

说明书

技术领域

本发明涉及计算机领域，具体而言，涉及一种空间数据批量抽取转换加载方法及装置。

背景技术

数据抽取、转换、加载(Extract-Transform-Load，简称为ETL)的过程将分布的、异构的数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到目标数据源或数据仓库中，成为联机分析处理、数据挖掘的基础。空间数据的ETL过程则是将多源、异构的空间数据(包含坐标信息)抽取到临时中间层后进行清洗、转换、集成，最后加载到另一种格式的目标空间数据源中。

相对于属性数据，多源空间数据之间的差异更加突出，其数据组织、存储方式差异较大，具体体现在：

空间数据在各种GIS软件的发展下逐渐形成各种版本、各种形态的数据存储格式。

空间数据有文件存储形式、数据库形式的差异。

空间数据在单个文件形式内部可以按照图层进行组织，在数据库内部也可以按照数据集、图层进行组织。

空间数据的图层类型复杂，其按照图元类型通常又可分为点、线、面、复合图层。点层只存储点对象，线层只存储线对象，面层只存储面对象，复合图层则所有类型对象均可存储。

由于以上特点，空间数据的ETL过程更加复杂。目前大部分空间数据ETL软件仅给出了单个空间数据ETL过程的解决方案，而没有对批量ETL过程给出解决方案。部分空间数据ETL软件支持的批量ETL过程只是预先由手工将若干个数据源加入到ETL流程中，并设置若干个固定的目标数据源进行一一对应，此方式是静态的批量解决方案，而非动态、实时的批量ETL解决方案。即无法在执行过程中，实时的从某个位置枚举数据源，并动态对应的目标数据源上。在对大批量空间数据备份、迁移过程中，静态的ETL批量解决方案耗时耗力，灵活性很差，人工成本很高，而且无法自动、定期执行。

相关技术中，对于空间数据的批量ETL过程支持通常是以静态的、手工的方式来实现的。一般过程是由ETL软件的操作人员首先设计好单个数据的ETL处理流程，然后通过工具界面批量增加若干源数据到ETL流程中，并对每一个源数据指定对应的目标数据，每一个源数据与目标数据需要按照顺序一一对应。

设计好流程之后，操作人员通过工具界面开始执行ETL流程。在ETL流程的执行过程中，ETL软件会按照操作者设定的数据源顺序，依次执行每一个源数据、目标数据及其之间的处理流程。

因此，相关技术中实现批量ETL过程的技术，具有以下缺陷：1、操作复杂，易出错且人工成本高。其体现在操作人员不但需要将源数据批量加入到ETL流程中，还需要为每一个源数据指定正确的目标数据，一旦对应错误则无法产生正确的结果；2、灵活性低，一旦数据源发生变化，操作者需要到源数据与目标数据列表中增加、删除或者修改数据源。

发明内容

本发明提供了一种空间数据批量抽取转换加载方法及装置，以至少解决相关技术中空间数据批量ETL过程由手动操作，耗时耗力且灵活性不高的问题。

根据本发明的一方面，提供了一种空间数据批量抽取转换加载方法，包括：从与源数据一一对应的源数据容器获取源数据的设置参数，其中源数据容器用于给源数据提供用于确定数据源的参数；根据源数据的设置参数，从与目标数据一一对应的目标数据容器获取目标数据的设置参数，其中目标数据容器用于给目标数据提供用于确定数据源的参数；根据源数据的设置参数和目标数据的设置参数，执行批量ETL过程。

优选地，从与源数据一一对应的数据容器获取源数据的设置参数包括：调用与源数据容器的源数据枚举接口，其中源数据枚举接口用于枚举获取源数据的设置参数；通过源数据枚举接口，枚举获取源数据的设置参数。

优选地，源数据容器的接口还包括以下至少之一：参数设置接口，用于对源数据上的数据容器的设置参数进行设置；重置接口，用于在执行批量ETL过程之前，对源数据上的数据容器进行重置。

优选地，根据源数据的设置参数，从与目标数据一一对应的数据容器获取目标数据的设置参数包括：调用目标数据容器的目标数据获取接口，其中目标数据获取接口用于根据源数据的设置参数以及目标数据容器的设置参数获取目标数据的设置参数；通过目标数据获取接口，根据源数据的设置参数以及目标数据容器的设置参数获取目标数据的设置参数。

优选地，在通过目标数据获取接口，根据源数据的设置参数以及目标数据容器的设置参数获取目标数据的设置参数之前，还包括：将源数据的设置参数传递给目标数据容器。