[发明专利]一种用于调度ETL任务的方法与设备

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种用于调度ETL任务的技术。

背景技术

在数据仓库建立过程中，核心技术是抽取-转换-加载(Extraction-Transformation-Loading，ETL)任务，其能够按照统一的规则集中并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程。随着数据规模和数据分析业务的快速增长，ETL任务的数量和复杂度也随之快速增长，但由于ETL包括众多的处理任务，且这些处理任务之间有一定的约束关系，而目前缺乏有效地支持ETL开发和运营的工具，不仅影响了对ETL任务的调度和管理效率，也影响了数据仓库开发效率和资源利用率。

发明内容

本发明的目的是提供一种在任务调度设备端用于调度ETL任务的方法与设备。

根据本发明的一个方面，提供了一种用于调度ETL任务的方法，其中，该方法包括以下步骤：

获取一个或多个ETL任务，以及所述ETL任务所对应的任务配置信息；

根据所述任务配置信息，确定所述ETL任务所对应的调度时间信息；

根据所述一个或多个ETL任务，以及所述ETL任务所对应的调度时间信息，建立或更新对应的任务池；

其中，该方法还包括：

根据所述调度时间信息，对所述任务池中的ETL任务进行调度，以获得待执行的目标ETL任务；

执行所述目标ETL任务。

根据本发明的另一个方面，还提供了一种在网络设备端用于辅助调度ETL任务的方法，其中，该方法包括以下步骤：

-在网络设备中注册一个或多个任务调度设备，其中，所述任务调度设备所对应的注册信息包括所述任务调度设备所对应的ETL任务与其他任务调度设备所对应的ETL任务之间的依赖关系；

其中，该方法还包括：

A接收所述任务调度设备发送的目标ETL任务所对应的执行结果信息；

B将所述执行结果信息提供给对应的用户设备。

根据本发明的一个方面，提供了一种用于调度ETL任务的任务调度设备，其中，该任务调度设备包括：

任务获取装置，用于获取一个或多个ETL任务，以及所述ETL任务所对应的任务配置信息；

调度时间确定装置，用于根据所述任务配置信息，确定所述ETL任务所对应的调度时间信息；

任务池建立装置，用于根据所述一个或多个ETL任务，以及所述ETL任务所对应的调度时间信息，建立或更新对应的任务池；

其中，该任务调度设备还包括：

调度装置，用于根据所述调度时间信息，对所述任务池中的ETL任务进行调度，以获得待执行的目标ETL任务；

执行装置，用于执行所述目标ETL任务。

根据本发明的另一个方面，还提供了一种用于辅助调度ETL任务的网络设备，其中，该网络设备包括：

注册装置，用于在网络设备中注册一个或多个任务调度设备，其中，所述任务调度设备所对应的注册信息包括所述任务调度设备所对应的ETL任务与其他任务调度设备所对应的ETL任务之间的依赖关系；

其中，该网络设备还包括：

第一接收装置，用于接收所述任务调度设备发送的目标ETL任务所对应的执行结果信息；

提供装置，用于将所述执行结果信息提供给对应的用户设备。

根据本发明的再一个方面，还通过了一种用于调度ETL任务的系统，其中，该系统包括如前述根据本发明一个方面的用于调度ETL任务的任务调度设备和如前述根据本发明另一个方面的用于辅助调度ETL任务的网络设备。