[发明专利]一种ETL在集群上的任务负载均衡方法

权利要求书

1.一种ETL在集群上的任务负载均衡方法，其特征在于，包括以下步骤：

步骤S1:计算待分配任务的预测消耗资源；

步骤S2:通过任务调度中心监控节点的资源使用情况；

步骤S3:计算集群节点的有效空闲资源；

步骤S4:判别待分配任务类型，若为单个任务进行步骤S5,若为任务组则进行步骤S6;

步骤S5:通过任务调度中心对单个任务进行分配；

步骤S6:通过任务调度中心对任务组进行分配；

步骤S7:任务调度中心持续执行步骤S4-S6，将任务队列中的任务分配到有效空闲资源足够的节点,完成集群的任务分配。

2.根据权利要求1所述的一种ETL在集群上的任务负载均衡方法，其特征在于，所述步骤S1具体为：

步骤S11:在待分配任务执行的一个生命过程，记录该任务的资源消耗参数，包括：最小CPU、最高CPU、综合平均CPU、最小内存、最大内存、综合平均内存、最小运行时间、最大运行时间、综合平均运行时间；

步骤S12:将资源消耗参数提交到任务调度中心，得到任务执行时的常态资源消耗参数，即任务的预测消耗资源。

3.根据权利要求1所述的一种ETL在集群上的任务负载均衡方法，其特征在于：节点资源包括空闲CPU、空闲内存、已分配任务。

4.根据权利要求1所述的一种ETL在集群上的任务负载均衡方法，其特征在于：所述步骤S3具体为：将节点的资源，减去节点已用资源，再减去待执行任务的预测消耗资源，剩余的资源即节点的有效空闲资源。

5.根据权利要求1所述的一种ETL在集群上的任务负载均衡方法，其特征在于：所述步骤S5具体为：

步骤S51:获取集群内所有节点中有效空闲资源最多的节点;

步骤S52：若该节点有效资源大于待分配任务的预测消耗资源，将待分配任务分配到该节点，并将该待分配任务从任务队列中移除;若该节点有效资源小于任务的预测消耗资源，则认为该任务无法运行该任务，将任务退回插入任务队列，进行步骤S7。

6.根据权利要求1所述的一种ETL在集群上的任务负载均衡方法，其特征在于：所述步骤S6具体为：

步骤S61:对任务组内的任务按预测资源大小排序，预测消耗资源大的任务优先被分配；

步骤S62:将任务组所有任务分配到集群内的节点中,若节点有效资源不足够运行所有任务，将剩余任务退回插入任务队列，跳到步骤S7。