[发明专利]ETL任务执行方法、装置、计算机设备及存储介质

权利要求书

1.一种ETL任务执行方法，其特征在于，包括：

在ETL任务开始执行前，判断数据存储端是否有与所述ETL任务对应的中间数据；

若所述数据存储端有与所述ETL任务对应的中间数据，则获取所述ETL任务包括的数据处理通道中的任务数据，以及所述ETL任务包括的逻辑处理模块的处理状态，其中，所述ETL任务包括多个依次连接的逻辑处理模块，两个相邻的逻辑处理模块之间通过所述数据处理通道连接，所述处理状态包括多个所述逻辑处理模块对当前的任务数据的处理状态；

将所述数据处理通道中的任务数据，以及所述逻辑处理模块的处理状态确定为中间数据；

将所述中间数据中的数据处理通道中的任务数据，确定为所述ETL任务的数据处理通道中的任务数据，以及将所述中间数据中的逻辑处理模块的处理状态，确定为所述ETL任务的多个逻辑处理模块对当前的任务数据的处理状态，以使所述ETL任务根据所述ETL任务的数据处理通道中的任务数据和多个逻辑处理模块对当前的任务数据的处理状态进行断点重启；

若所述数据存储端没有与所述ETL任务对应的中间数据，则执行所述ETL任务；

在所述ETL任务的执行期间，获取所述ETL任务在执行期间的中间数据，并将所述中间数据存储至所述数据存储端中。

2.根据权利要求1所述的ETL任务执行方法，其特征在于，所述将所述中间数据存储至所述数据存储端中，包括：

确定所述ETL任务包括的数据处理通道的通道标识；

针对所述中间数据中包括的每个数据处理通道，将所述数据处理通道的通道标识、所述数据处理通道中的任务数据以及所述数据处理通道对应的逻辑处理模块的处理状态对应存储至所述数据存储端中。

3.根据权利要求2所述的ETL任务执行方法，其特征在于，所述将所述中间数据中的数据处理通道中的任务数据，确定为所述ETL任务的数据处理通道中的任务数据，以及将所述中间数据中的逻辑处理模块的处理状态，确定为所述ETL任务的多个逻辑处理模块对当前的任务数据的处理状态，包括：

针对所述ETL任务中的每个数据处理通道，根据所述数据处理通道的通道标识，在所述中间数据中确定与所述通道标识对应的数据处理通道中的任务数据，以及确定与所述通道标识对应的逻辑处理模块的处理状态；

将所述与所述通道标识对应的数据处理通道中的任务数据，确定为所述ETL任务的所述数据处理通道中的任务数据；以及

将所述与所述通道标识对应的逻辑处理模块的处理状态，确定为所述ETL任务中的所述数据处理通道对应的逻辑处理模块对当前的任务数据的处理状态。

4.根据权利要求1至3任一项所述的ETL任务执行方法，其特征在于，所述在ETL任务开始执行前，判断数据存储端是否有与所述ETL任务对应的中间数据，包括：

在ETL任务开始执行前，判断所述ETL任务是否配置有断点续传功能；

若所述ETL任务配置有断点续传功能，则判断数据存储端是否有与所述ETL任务对应的中间数据。

5.根据权利要求1至3任一项所述的ETL任务执行方法，其特征在于，所述方法还包括：

在所述ETL任务执行完成后，将所述数据存储端中与所述ETL任务对应的中间数据删除。