[发明专利]一种作业调度方法及作业调度系统

摘要

本发明公开了一种作业调度方法及作业调度系统。所述作业调度系统包括作业提交设备、以及由主服务器及多个子服务器组成的服务器集群。所述主服务器用于接收到服务器集群中任意一台子服务器M针对待处理作业队列中的第j个作业提交的任务处理请求并判断该台子服务器M并非第j个作业的本地服务器时，基于资源预估模型量化计算一个数据块传输周期T内服务器集群中第j个作业的本地服务器向第j个作业发起的任务处理请求次数Ej。所述主服务器还用于判断该任务处理请求次数Ej低于一次时，将第j个作业的处理任务分配到子服务器M，或者判断该任务处理请求次数Ej达到或超过一次时，执行第j个作业的延时调度工作。本发明可极大提高整体作业的调度效率。

主权项

一种作业调度方法，其特征在于，包括如下步骤：S1)在接收到由服务器集群(200)中任意一台子服务器M针对待处理作业队列中的第j个作业提交的任务处理请求时，判断该台子服务器M是否为第j个作业的本地服务器；M为变量，j为递增变量，M≥1，j≥1，且M、j均为正整数；S2)如判断子服务器M并非第j个作业的本地服务器，则基于资源预估模型量化计算一个数据块传输周期T内服务器集群(200)中第j个作业的本地服务器针对第j个作业发起的任务处理请求次数Ej；S3)判断该任务处理请求次数Ej是否达到或超过一次；如判断Ej＜1，则响应由子服务器M提交的第j个作业的任务处理请求，将第j个作业的处理任务分配到子服务器M；如判断Ej≥1，转而执行第j个作业的延时调度工作；其中，所述步骤S2中用于计算一个数据块传输周期T内服务器集群(200)中第j个作业的本地服务器针对第j个作业所提交的任务处理请求次数Ej的资源预估模型如下所示：Ej＝T×(N/THeat)×Slotavg×Pslot×PjLocalData×PjCompete；其中，N表示服务器集群(200)中的所有子服务器(202)的数目；THeat表示服务器集群(200)中子服务器(202)的任务处理请求提交周期；Slotavg表示每个子服务器(202)在提交任务处理请求时提供的平均时槽数目；Pslot表示每个子服务器(202)提供的时槽中空闲时槽的概率；PjLocalData表示服务器集群(200)中请求处理第j个作业的子服务器(202)为第j个作业的本地服务器的概率；PjCompete表示服务器集群(200)中第j个作业的竞争服务器数目占服务器集群(200)中第j个作业的本地服务器数目的百分比；其中，Pslot的计算公式如下所示：Pslot＝Tavg/THeat；Tavg表示执行一个映射任务所需时间；PjLocalData的计算公式如下所示：PjLocalData＝Nodesj/N；Nodesj表示服务器集群(200)中存储有用于处理第j个作业所需数据块的子服务器(202)的数目，即第j个作业的本地服务器的数目；N表示服务器集群(200)中的所有子服务器(202)的数目；PjCompete的计算公式如下所示：PjCompete＝NodesjAhead/Nodesj；其中，NodesjAhead表示服务器集群(200)中存储有第j个作业的竞争数据块的竞争服务器的数目；第j个作业的竞争数据块定义为：用于处理第j个作业以及主服务器(201)的待处理作业队列中优先级高于第j个作业的其它作业所需的同一个数据块；竞争服务器定义为：服务器集群(200)中存储有所述竞争数据块的子服务器(202)。