[发明专利]一种作业流程调优方法及装置

说明书

本申请公开的作业流程调优方法及装置，提出了一种基于作业流程中每个作业的前后继关系信息及执行耗时，按预定规则对作业流程中作业的执行位置进行调整的技术方案，其中，所述预定规则用于至少使得调整后所得的目标作业流程的总执行耗时低于原始作业流程的总执行耗时，且目标作业流程相比于原始作业流程各作业的前后继关系维持不变。从而，应用本申请的方法及装置，可在不影响作业流程中各作业的前后继关系的情况下，有效缩短作业流程的总执行耗时，相对应地可同时提升作业流程的执行效率。

技术领域

本发明属于作业流程设计与调度领域，尤其涉及一种作业流程调优方法及装置。

背景技术

自首套TWS(Tivoli Workload Scheduler，主机作业调度系统)流程搭建以来，TWS流程的改造升级过程均以增量的方式去修改，在修改过程中，基本以作业追加的方式(即在原有TWS流程所包括的作业的基础上追加新的作业)实现升级。

该基于作业追加方式进行升级所生成的新的TWS流程，在处理的数据量较少的情况下，其性能问题可能并不突出，但针对需要处理的数据量较大的情况，TWS流程的性能问题就会凸显出来，往往会存在作业执行耗时大、效率低的问题，因此需要一套高效率的TWS流程，以满足高效的作业运营需求。

发明内容

有鉴于此，本发明的目的在于提供一种作业流程调优方法及装置，以用于调整生产线上的TWS流程，提高批量数据的作业流程执行效率，降低执行耗时。

为此，本发明公开如下技术方案：

一种作业流程调优方法，包括：

获取待调整的原始作业流程，所述原始作业流程包括多个作业；

解析所述原始作业流程中每个作业的前后继关系信息；作业的前后继关系信息用于反映与作业具有依赖关系的前继作业及后继作业；

确定所述原始作业流程中每个作业的执行耗时；

基于每个作业的前后继关系信息及执行耗时，按预定规则调整所述原始作业流程中作业的执行位置，得到目标作业流程；所述预定规则用于至少使得所述目标作业流程的总执行耗时低于所述原始作业流程的总执行耗时，且所述目标作业流程相比于所述原始作业流程各作业的前后继关系维持不变。

优选的，所述解析所述原始作业流程中每个作业的前后继关系，包括：

确定所述原始作业流程中每个作业与其他作业间的依赖关系；

基于每个作业与其他作业间的依赖关系，确定每个作业的前后继关系信息。

优选的，所述确定所述原始作业流程中每个作业的执行耗时，包括：

统计历史执行过程中批量每个作业的总执行耗时；

基于批量每个作业的总执行耗时计算单独每个作业的执行耗时。

优选的，所述原始作业流程包括至少一个作业AP，其中：

所述原始作业流程中具有前后继关系的作业组成一个作业单元；

一个作业链路中并行执行的作业单元构成一个作业组；

连接作业AP中开始作业和结束作业的各作业组构成一条作业链路；

将由一组能够实现特定功能的作业链路所组成的一个应用作为一个作业AP。

优选的，所述基于每个作业的前后继关系信息及执行耗时，按预定规则调整所述原始作业流程中作业的执行位置，得到目标作业流程，包括：

基于调优需求从多个预定规则中选取其中之一作为目标调优规则；