[发明专利]一种ETL调度平台动态调节执行器数量的方法及装置

说明书

本发明公开一种ETL调度平台动态调节执行器数量的方法及装置，计算作业队列中作业的平均等待时长；判断作业的平均等待时长是否超过警戒值；若作业的平均等待时长超过警戒值，判断虚拟资源是否满足扩增条件，若虚拟资源满足扩增条件则扩增执行器数量继续批量执行；检测批量执行是否执行完毕；若未执行完毕，则继续计算作业的平均等待时长是否超过警戒值，在超过警戒值且虚拟资源满足扩增条件时继续扩增执行器数量；若执行完毕，则结束轮询监控进程。本发明保证批量执行按时完成，避免数据处理不及时对企业造成经济损失，增强了ETL调度平台的健壮性；同时减少了人为干预，降低人员工作负担，且对计算资源的按需分配，降低了企业投入成本。

技术领域

本发明涉及ETL调度平台调节执行器数量领域，具体涉及一种ETL调度平台动态调节执行器数量的方法及装置。

背景技术

随着企业的发展和数据信息化时代的到来,各企业中存在-业务系统之间的数据流通阻塞,业务集成困难,数据共享不便等问题，出现了“数据孤岛”现象。这对企业进行数据分析利用,报表开发,分析挖掘等工作带来了巨大困难。而一体化平台的建设可解决“数据孤岛”带来的一系列问题。一体化平台的建设中一个必要条件就是数据的一体化，ETL调度平台是一个重要组成部分。ETL调度平台由一个代理器和多个执行器两部分组成，代理器负责进行作业的分发，执行器负责作业的执行。通常在部署ETL调度平台时，会按照作业的数量和执行时长事先确定执行器的个数(这受制于数据量的大小和硬件资源条件)，每个执行器需要单独部署到不同的虚拟机上，代理器可以和执行器部署到一台虚拟机上。在正常情况下，ETL调度平台每天完成作业执行，从数据源抽取数据，清洗加工完成后，导入到目标数据库。但是在实际应用中，中小企业的业务量波动较大，经常出现数据量剧增导致作业执行缓慢，其余作业一直处于等待状态的异常情况，这种情况就需要维护人员介入，手工执行这些大作业或进行逻辑优化等方法。但是由于批量一般在晚上执行(如图1所示为现有批量执行流程示意图)，维护人员白天发现问题时，已经浪费了很长时间，而批量又是每天都要执行的，即使运维人员修改了问题，批量正常执行完毕仍需要一定时间，可能会对第二天的批量产生影响，这就给运维带来巨大的挑战。而在事先部署ETL调度平台时，尽可能的多的部署执行器，虽然是一种解决方案，但是会造成资源的浪费、成本的剧增，对于一些中小企业来说是另一种灾难。

发明内容

为解决上述问题，本发明提供一种ETL调度平台动态调节执行器数量的方法及装置，在进行批量执行时，若出现作业执行缓慢的情况，动态扩增执行器数量，保障批量执行按时完成，减少人为干预，提高处理效率，降低人为负担。

第一方面，本发明的技术方案提供一种ETL调度平台动态调节执行器数量的方法，ETL调度平台进行批量执行时，执行轮询监控进程，包括以下步骤：

计算作业队列中作业的平均等待时长；

判断作业的平均等待时长是否超过警戒值；

若作业的平均等待时长超过警戒值，判断虚拟资源是否满足扩增条件，若虚拟资源满足扩增条件则扩增执行器数量继续批量执行；

检测批量执行是否执行完毕；

若未执行完毕，则继续计算作业的平均等待时长是否超过警戒值，在超过警戒值且虚拟资源满足扩增条件时继续扩增执行器数量；

若执行完毕，则结束轮询监控进程。

进一步地，计算作业队列中作业的平均等待时长，具体为：

根据多服务台模型M/M/s/∞计算作业的平均等待时长；

作业的平均等待时长

其中