[发明专利]一种作业调度方法及作业调度系统

说明书

技术领域

本发明涉及任务分配技术领域，更具体地说，涉及一种作业调度方法及作业调度系统。

背景技术

为提高作业的本地数据资源获取水平，缩短单个作业的执行时间，静态延迟调度方法得到了广泛使用。然而，静态延迟调度方法还存在如下缺陷：

1)为确保用户提交的作业获取到本地数据资源，提高单个作业的执行效率，在作业未获取到来自本地数据资源的处理请求的情况下，需要进行作业的延时调度处理，导致作业难以在预定时间内执行完毕。

2)采用静态延迟调度方法在提高单个作业的执行效率的同时，降低了整体作业的执行效率。

因此，如何克服静态延迟调度方法所存在的上述缺陷，开发一款兼顾单个作业的执行效率及整体作业的执行效率的作业调度方法已成为亟待解决的问题。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能兼顾单个作业的执行效率及整体作业的执行效率的作业调度方法及作业调度系统。

本发明解决其技术问题所采用的技术方案是：构造一种作业调度方法，包括如下步骤：

S1)在接收到由服务器集群中任意一台子服务器M针对待处理作业队列中的第j个作业提交的任务处理请求时，判断该台子服务器M是否为第j个作业的本地服务器；M为变量，j为递增变量，M≥1，j≥1，且M、j均为正整数；

S2)如判断子服务器M并非第j个作业的本地服务器，则基于资源预估模型量化计算一个数据块传输周期T内服务器集群中第j个作业的本地服务器针对第j个作业发起的任务处理请求次数E_j；

S3)判断该任务处理请求次数E_j是否达到或超过一次；如判断E_j＜1，则响应由子服务器M提交的第j个作业的任务处理请求，将第j个作业的处理任务分配到子服务器M；如判断E_j≥1，则执行第j个作业的延时调度工作。

在本发明上述作业调度方法中，在所述步骤S1之前还包括如下步骤：

S0)指定服务器集群中用于执行作业受理及分配工作的主服务器，通过该主服务器接收用户通过作业提交终端提交的作业，并将作业添加到待处理作业队列。

在本发明上述作业调度方法中，所述步骤S0还包括：根据作业的提交时间确定待处理作业队列中各个作业的优先级，依照各个作业的优先级对待处理队列中的各个作业进行排序，以确定各个作业的处理顺序。

在本发明上述作业调度方法中，所述步骤S1中所述判断子服务器M是否为第j个作业的本地服务器的步骤包括：通过主服务器接收服务器集群中除其之外的任意一台子服务器M针对第j个作业发起的任务处理请求，遍历待处理作业队列，读取待处理作业队列中的第j个作业，并判断子服务器M是否存储有用于处理第j个作业所需的数据块；

如判断子服务器M存储有用于处理第j个作业所需的数据块，则判定子服务器M为第j个作业的本地服务器；

如判断子服务器M未存储有用于处理第j个作业所需的数据块，则判定子服务器M为非第j个作业的本地服务器。

在本发明上述作业调度方法中，所述步骤S1还包括：如判断子服务器M为本地服务器，则响应由子服务器M提交的第j个作业的任务处理请求，将第j个作业的处理任务分配到子服务器M。

在本发明上述作业调度方法中，所述步骤S1还包括在将第j个作业的处理任务分配到子服务器M之后所进行的第j个作业的处理步骤，所述第j个作业的处理步骤包括：

子服务器M查找服务器集群中第j个作业的本地服务器，拷贝由该本地服务器存储的用于处理第j个作业所需的数据块，并依照第j个作业对拷贝的数据块进行处理，以将第j个作业执行完毕。

在本发明上述作业调度方法中，所述步骤S2中用于计算一个数据块传输周期T内服务器集群中第j个作业的本地服务器针对第j个作业所提交的任务处理请求次数Ej的资源预估模型如下所示：

E_j＝T×(N/T^Heat)×Slot^avg×P^slot×P_j^LocalData×P_j^Compete；其中

N表示服务器集群中的所有子服务器的数目；

T^Heat表示服务器集群中子服务器的任务处理请求提交周期；

Slot^avg表示每个子服务器在提交任务处理请求时提供的平均时槽数目；