[发明专利]一种ETL任务处理方法、装置及相关设备

权利要求书

1.一种ETL任务处理方法，其特征在于，包括：

根据接收的ETL任务配置信息确定节点配置信息和工作流信息；

根据所述节点配置信息对相应的工作节点进行配置；

根据所述工作流信息确定各所述工作节点的执行顺序；

按照所述执行顺序执行各所述工作节点。

2.根据权利要求1所述的ETL任务处理方法，其特征在于，所述根据接收的ETL任务配置信息确定节点配置信息和工作流信息之前，还包括：

将所述ETL任务配置信息的元信息存储至预设数据库。

3.根据权利要求2所述的ETL任务处理方法，其特征在于，还包括：

当接收到修订请求时，从所述预设数据库中调取所述修订请求对应的元信息，并发送至前端界面进行显示。

4.根据权利要求1至3任意一项所述的ETL任务处理方法，其特征在于，根据所述ETL任务配置信息获取节点配置信息，包括：

当所述工作节点为Hive处理节点时，根据所述ETL任务配置信息获取HDFS文件路径信息和MR任务配置信息；

当所述工作节点为Kafka处理节点时，根据所述ETL任务配置信息获取Kafka Connect配置信息和Ksql任务配置信息；

当所述工作节点为Spark处理节点时，根据所述ETL任务配置信息获取Spark Context配置信息。

5.根据权利要求4所述的ETL任务处理方法，其特征在于，执行所述工作节点，包括：

加载ETL任务对应的目标数据；

在所述工作节点执行对应的SQL语句对所述目标数据进行处理。

6.根据权利要求1所述的ETL任务处理方法，其特征在于，所述根据所述节点配置信息对相应的工作节点进行配置，包括：

对所述节点配置信息进行解析，生成节点配置文件；

利用所述节点配置文件对相应的工作节点进行配置。

7.根据权利要求1所述的ETL任务处理方法，其特征在于，还包括：

对所述工作节点的执行过程进行监控，获得监控信息；

将所述监控信息存储至日志文件。

8.一种ETL任务处理装置，其特征在于，包括：

信息确定模块，用于根据接收的ETL任务配置信息确定节点配置信息和工作流信息；

节点配置模块，用于根据所述节点配置信息对相应的工作节点进行配置；

顺序确定模块，用于根据所述工作流信息确定各所述工作节点的执行顺序；

任务执行模块，用于按照所述执行顺序执行各所述工作节点。

9.一种ETL任务处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的ETL任务处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至7任一项所述的ETL任务处理方法的步骤。