[发明专利]ETL任务的处理方法、装置、设备及存储介质

权利要求书

1.一种ETL任务的处理方法，其特征在于，所述方法包括：

获取ETL任务的元数据信息；

根据所述元数据信息，确定所述ETL任务的n个子评价参数，所述n个子评价参数包括复杂度评价参数、成本度评价参数和依赖度评价参数，所述n为正整数；其中，所述复杂度评价参数与所述ETL任务的复杂度等级呈正相关关系，所述成本度评价参数与所述ETL任务的成本信息呈正相关关系，所述依赖度评价参数与所述ETL任务的下游依赖任务的数量呈正相关关系；

根据所述n个子评价参数计算所述ETL任务的评价参数；其中，所述评价参数用于表征所述ETL任务的价值；

根据所述评价参数对所述ETL任务进行处理。

2.根据权利要求1所述的方法，其特征在于，所述n个子评价参数还包括新鲜度评价参数和/或查询度评价参数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述元数据信息，确定所述ETL任务的n个子评价参数，包括：

根据所述元数据信息，确定所述ETL任务的复杂度等级；

根据所述ETL任务的复杂度等级确定所述ETL任务的复杂度评价参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述元数据信息，确定所述ETL任务的复杂度等级，包括：

从所述元数据信息中提取复杂度信息，所述复杂度信息是指用于表征所述ETL任务的复杂度的信息；

查询第一映射关系表，将与所述复杂度信息对应的复杂度等级，确定为所述ETL任务的复杂度等级；

其中，所述第一映射关系表包括至少一组复杂度信息和复杂度等级之间的映射关系。

5.根据权利要求1所述的方法，其特征在于，所述根据所述元数据信息，确定所述ETL任务的n个子评价参数，包括：

根据所述元数据信息，确定所述ETL任务的成本信息，所述成本信息包括以下至少一个维度的信息：计算成本、存储成本和时间成本；

根据所述ETL任务的成本信息确定所述ETL任务的成本度评价参数。

6.根据权利要求5所述的方法，其特征在于，所述根据所述ETL任务的成本信息确定所述ETL任务的成本度评价参数，包括：

根据所述ETL任务的各个维度的成本信息以及对应的权重，计算所述ETL任务的成本度评价参数。

7.根据权利要求1所述的方法，其特征在于，所述根据所述元数据信息，确定所述ETL任务的n个子评价参数，包括：

根据所述元数据信息，确定所述ETL任务的下游依赖任务的数量；

根据所述ETL任务的下游依赖任务的数量，确定所述ETL任务的依赖度评价参数。

8.根据权利要求7所述的方法，其特征在于，所述根据所述ETL任务的下游依赖任务的数量，确定所述ETL任务的依赖度评价参数，包括：

查询第二映射关系表，将与所述ETL任务的下游依赖任务的数量对应的依赖度评价参数，确定为所述ETL任务的依赖度评价参数；

其中，所述第二映射关系表包括至少一组下游依赖任务的数量和依赖度评价参数之间的映射关系。

9.根据权利要求1所述的方法，其特征在于，所述根据所述n个子评价参数计算所述ETL任务的所述评价参数，包括：

将所述n个子评价参数相加，得到所述ETL任务的所述评价参数；

或者，

将所述n个子评价参数进行加权求和，得到所述ETL任务的所述评价参数。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述根据所述评价参数对所述ETL任务进行处理，包括：

若所述评价参数处于第一取值区间，则对所述ETL任务进行下线处理；

若所述评价参数处于第二取值区间，则对所述ETL任务进行优化处理；

若所述评价参数处于第三取值区间，则保持所述ETL任务；

其中，所述第一取值区间小于所述第二取值区间，且所述第二取值区间小于所述第三取值区间。