[发明专利]生成并执行ETL任务的方法及设备

权利要求书

1.一种生成并执行ETL任务的方法，其特征在于，包括：

获取ETL需求，所述ETL需求中包括：数据处理过程，所述数据处理过程包括多个数据处理环节；

根据预先配置的规则将所述数据处理过程转换成元数据，所述元数据用于描述各所述数据处理环节的输入数据，输出数据和当前数据处理环节的处理明细；

根据所述元数据生成ETL任务，所述ETL任务被配置为按照所述数据处理过程对数据源的数据进行处理；

执行所述ETL任务，得到ETL任务执行结果，所述ETL任务执行结果包括：各数据处理环节的输入数据数量，输出数据数量，数据处理结果，并根据ETL任务执行结果确定各数据处理环节是否出现错误。

2.根据权利要求1所述的方法，其特征在于，所述根据预先配置的规则将所述数据处理过程转换成元数据，包括：

将所述数据处理过程的每个数据处理环节转换成ETL单元；所述ETL单元包括对应的数据处理环节的输入数据，输出数据和处理明细；

将多个所述ETL单元按照顺序进行排列生成ETL过程元数据；所述顺序是所述ETL单元对应的数据处理环节在所述数据处理过程中的顺序。

3.根据权利要求2所述的方法，其特征在于，所述根据预先配置的规则将所述数据处理过程转换成元数据，还包括：

将所述ETL单元包括的输入数据，输出数据和处理明细以表格的方式进行记录，生成ETL过程明细元数据。

4.根据权利要求2所述的方法，其特征在于，所述根据所述元数据生成ETL任务，包括：

对所述ETL过程元数据进行处理；具体为，为所述ETL过程元数据中的每个ETL单元添加唯一标识和执行的流程代码；

将处理后的ETL过程元数据输入ETL元数据模型，得到ETL配置文件，所述ETL配置文件配置有所述ETL任务。

5.根据权利要求3所述的方法，其特征在于，所述数据处理过程至少包括：数据抽取环节，代码映射环节，清洗转换环节和数据加载环节。

6.根据权利要求5所述的方法，其特征在于，所述ETL过程明细元数据至少包括：数据抽取明细元数据，代码映射明细元数据，清洗转换明细元数据和数据加载明细元数据；

所述数据抽取明细元数据包括：抽取源描述，抽取规则；

所述代码映射明细元数据包括：映射方式，映射字段和映射源字段；

所述清洗转换明细元数据包括：数据清洗条件；

所述数据加载明细元数据包括：加载前语句，加载后语句，加载目标，加载方式和目标描述。

7.根据权利要求2所述的方法，其特征在于，所述输入数据是从所述数据源或当前数据处理环节的上一环节得到的，所述输出数据是经过当前数据处理环节处理后得到的。

8.根据权利要求2所述的方法，其特征在于，所述输出数据包括：输出字段，说明和字段类型。

9.根据权利要求1所述的方法，其特征在于，所述ETL需求还包括：数据源，数据处理结果样式；

所述方法还包括：将所述输出数据与所述数据处理结果样式进行对比得到所述数据处理结果。

10.一种生成并执行ETL任务的设备，其特征在于，包括：

处理器和存储器；

所述处理器与存储器通过通信总线相连接：

其中，所述处理器，用于调用并执行所述存储器中存储的程序；

所述存储器，用于存储程序，所述程序至少用于执行权利要求1-9任一项所述的生成并执行ETL任务的方法。