[发明专利]一种批量调度方法、装置和设备

说明书

本说明书实施例提供了一种批量调度方法、装置和设备，涉及大数据处理技术领域，其中，该方法包括：获取目标调度系统对应的目标有向图；基于目标有向图，确定起始作业的第一批次号；获取第二批次号；在确定第二批次号大于所述第一批次号的情况下，调度起始作业执行起始作业的第一批次号对应的业务数据；在确定第一批次号对应的业务数据处理完成的情况下，根据目标有向图执行起始作业的下一批次和与起始作业关联的作业的第一批次，直至所述目标有向图中各个作业的批次号等于所述第二批次号。在本说明书实施例中，可以使得作业可以按上下游依赖关系有序执行，同时在具有依赖关系的作业流中形成流水线，充分利用了系统资源，降低了最终结果的延迟。

技术领域

本说明书实施例涉及大数据处理技术领域，特别涉及一种批量调度方法、装置和设备。

背景技术

目前大数据平台通常以数据仓库、数据湖或其它数据源为基础，通过ETL(Extraction Transformation Loading，数据抽取、转换和加载)调度系统将异构分散的数据进行加工处理，形成有用的有价值的数据或知识，为数据分析师或经营管理人员进行分析决策提供支撑。为进行快速分析和统计，大数据平台可采用小批量的计算模式，支持一日之内几十个批次，从而实现准实时计算。

现有技术中通常采用轮询的方式进行ETL批量调度，通过轮询查找符合条件的作业需要逐个检查作业的上游作业的对应批次是否执行完毕，从而确定作业能执行的批次，当系统中部署的作业较多时，逐个检查作业这一过程会消耗大量的资源，在检查过程中也会形成大量无用的检查(检查后发现上游作业的对应批次没有到位)，从而导致系统负载较高。并且当某个上游作业的相应批次完成后，必须等到下游作业被检查到才能加入就绪队列，从而无法及时调起下游作业。由此可见，采用现有技术中的批量调度方式无法高效地进行批量调度。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种批量调度方法、装置和设备，以解决现有技术中无法高效地进行批量调度的问题。

本说明书实施例提供了一种批量调度方法，包括：获取目标调度系统对应的目标有向图；其中，所述目标有向图用于表征目标调度系统调度的多个作业之间的依赖关系；基于所述目标有向图，确定起始作业的第一批次号；其中，所述起始作业为所述目标有向图中指定入度的作业；获取第二批次号；其中，所述第二批次号为已加载的业务数据对应的最大批次号；在确定所述第二批次号大于所述第一批次号的情况下，调度所述起始作业执行所述起始作业的第一批次号对应的业务数据；在确定所述第一批次号对应的业务数据处理完成的情况下，根据所述目标有向图执行所述起始作业的第一批次号的下一批次号对应的业务数据和与所述起始作业关联的作业的第一批次号对应的业务数据，直至所述目标有向图中各个作业的批次号等于所述第二批次号。

本说明书实施例还提供了一种批量调度装置，包括：第一获取模块，用于获取目标调度系统对应的目标有向图；其中，所述目标有向图用于表征目标调度系统调度的多个作业之间的依赖关系；确定模块，用于基于所述目标有向图，确定起始作业的第一批次号；其中，所述起始作业为所述目标有向图中指定入度的作业；第二获取模块，用于获取第二批次号；其中，所述第二批次号为已获取到的业务数据对应的最大批次号；调度模块，用于在确定所述第二批次号大于所述第一批次号的情况下，调度所述起始作业执行所述起始作业的第一批次号对应的业务数据；处理模块，用于在确定所述第一批次号对应的业务数据处理完成的情况下，根据所述目标有向图执行所述起始作业的第一批次号的下一批次号对应的业务数据和与所述起始作业关联的作业的第一批次号对应的业务数据，直至所述目标有向图中各个作业的批次号等于所述第二批次号。

本说明书实施例还提供了一种批量调度设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述批量调度方法的步骤。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述批量调度方法的步骤。