[发明专利]ETL文件拆分方法及装置

说明书

本发明公开了一种ETL文件拆分方法及装置，涉及自动程序设计的技术领域，其中该方法包括：根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。本发明涉及自动程序设计的技术领域，本发明实施例分别提取ETL文件中多个ETL作业的系统设置信息和加工配置信息，将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件，从而有效实现对ETL文件的拆分，便于使用者操作及运维。

技术领域

本发明涉及自动程序设计的技术领域，尤其涉及一种ETL文件拆分方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据，ETL是BI(商业智能)项目一个重要的环节。

ETL的流程可以用任何的编程语言去开发完成，由于ETL是极为复杂的过程，而手写程序不易管理，有愈来愈多的企业采用工具协助ETL的开发，并运用其内置的metadata功能来存储来源与目的的对应(mapping)以及转换规则。例如，DataStage就是IBM公司的一种数据集成软件平台，帮助进行ETL加工，DSJOB是DataStage软件生成的ETL作业JOB。在实际应用中，会对不同的场景及应用进行多个不同的ETL加工。但是在集中导出这些ETL加工时，所有的ETL作业都会生成在同一个ETL文件下，这不便于使用者操作及运维。

现有技术提供一种配置文件的合并、拆分处理方法，该方法包括：通过预先根据软件系统中各个主机角色的主机角色标识，对各个主机角色对应的配置项进行标注，当需要将配置文件写入生产环境的时候，将软件系统中各个主机角色对应的配置文件中包含的配置项进行合并处理，生成主机对应的配置文件；当需要从生产环境采集会配置文件的时候，根据主机的角色列表，对主机的配置文件中包含的配置项进行拆分处理，生成各个主机角色对应的配置文件。该方法在将软件系统中不同主机角色部署于同一台主机的情况下，能够根据生产环境的主机角色划分实时合并多个主机角色的配置文件，或根据生产环境的主机角色划分实时拆分出不同主机角色各自的配置项。然而，该方法只适用于简单的配置文件拆分，且只是对不同主机的配置文件进行拆分，不适用于对复杂的ETL文件的拆分。

发明内容

本发明实施例提供一种ETL文件拆分方法，用以有效实现对ETL文件的拆分，该方法包括：

根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；

根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；

将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。

实施例中，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息，包括：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的系统设置信息；

和/或，根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息，包括：采用Python脚本的形式，根据ETL文件的内容，识别出ETL文件中多个ETL作业的加工配置信息。

实施例中，分别提取ETL文件中多个ETL作业的系统设置信息和加工配置信息之前，还包括：

判断ETL文件的格式是否正确；

在ETL文件的格式不正确时，重新读取ETL文件。