[发明专利]一种ETL调度平台动态调节执行器数量的方法及装置

权利要求书

1.一种ETL调度平台动态调节执行器数量的方法，其特征在于，ETL调度平台进行批量执行时，执行轮询监控进程，包括以下步骤：

计算作业队列中作业的平均等待时长；

判断作业的平均等待时长是否超过警戒值；

若作业的平均等待时长超过警戒值，判断虚拟资源是否满足扩增条件，若虚拟资源满足扩增条件则扩增执行器数量继续批量执行；

检测批量执行是否执行完毕；

若未执行完毕，则继续计算作业的平均等待时长是否超过警戒值，在超过警戒值且虚拟资源满足扩增条件时继续扩增执行器数量；

若执行完毕，则结束轮询监控进程。

2.根据权利要求1所述的ETL调度平台动态调节执行器数量的方法，其特征在于，计算作业队列中作业的平均等待时长，具体为：

根据多服务台模型M/M/s/∞计算作业的平均等待时长；

作业的平均等待时长

其中

式中，λ为单位时间内进入作业队列的作业数量，μ为ETL调度平台单位时间内执行作业的数量，s为执行器数量。

3.根据权利要求2所述的ETL调度平台动态调节执行器数量的方法，其特征在于，该方法还包括以下步骤：

根据ETL调度平台的历史执行记录获取单位时间内进入作业队列的作业数量λ和ETL调度平台单位时间内执行作业的数量μ。

4.根据权利要求1、2或3所述的ETL调度平台动态调节执行器数量的方法，其特征在于，该方法还包括以下步骤：

每次扩增执行器的数量为1个。

5.根据权利要求4所述的ETL调度平台动态调节执行器数量的方法，其特征在于，该方法还包括以下步骤：

若作业的平均等待时长超过警戒值，而虚拟资源不满足扩增条件时，等待批量执行完毕。

6.根据权利要求5所述的ETL调度平台动态调节执行器数量的方法，其特征在于，批量执行完毕后还包括以下步骤：

删除本次轮询监控进程所扩增的执行器。

7.一种ETL调度平台动态调节执行器数量的装置，其特征在于，包括，

平均等待时长计算模块：计算作业队列中作业的平均等待时长；

警戒值判断模块：判断作业的平均等待时长是否超过警戒值；

虚拟资源检测模块：判断虚拟资源是否满足扩增条件以扩增执行器；

执行器扩增模块：若作业的平均等待时长超过警戒值，且虚拟资源满足扩增条件，则扩增执行器数量；

批量执行状态检测模块：检测批量执行是否执行完毕；

进程结束模块：结束轮询监控进程。

8.根据权利要求7所述的ETL调度平台动态调节执行器数量的装置，其特征在于，平均等待时长计算模块根据多服务台模型M/M/s/∞计算作业的平均等待时长；

作业的平均等待时长

其中

式中，λ为单位时间内进入作业队列的作业数量，μ为ETL调度平台单位时间内执行作业的数量，s为执行器数量；

该装置还包括，

参数获取模块：根据ETL调度平台的历史执行记录获取单位时间内进入作业队列的作业数量λ和ETL调度平台单位时间内执行作业的数量μ。

9.根据权利要求8所述的ETL调度平台动态调节执行器数量的装置，其特征在于，执行器扩增模块每次扩增执行器的数量为1个。

10.根据权利要求9所述的ETL调度平台动态调节执行器数量的装置，其特征在于，该装置还包括，

执行器删除模块：删除轮询监控进程所扩增的执行器。