[发明专利]任务调度方法及系统

说明书

【技术领域】

本发明涉及分布式计算技术，特别是涉及一种任务调度方法及系统。

【背景技术】

随着互联网的迅速发展，传统的海量数据密集型应用中，由于任务所需要的输入数据规模非常大，造成了传送数据的开销非常大。通常将任务调度到存储了该任务所需要的输入数据的数据节点执行以提高系统性能。但是，每一个节点的处理能力有限，且不同的任务之间相互竞争计算资源，存在着不能调度到数据节点执行的任务，这些任务必须通过远程I/O操作将对应的输入数据拷贝到执行节点中。

然而，远程I/O操作中输入数据的大量拷贝增加了网络负载。传统的优化方式常常采用预取技术。预取技术可屏蔽远程数据访问时延，当执行节点没有存储输入数据时，将输入数据预取到执行节点中，如果执行节点磁盘空间不足，则将输入数据拷贝到距离执行节点最近的节点，这将会造成输入数据的二次传输，未能解决网络负载加重的问题。

【发明内容】

基于此，有必要提供一种可降低网络负载的任务调度方法。

此外，还有必要提供一种可降低网络负载的任务调度系统。

一种任务调度方法，包括以下步骤：

计算节点请求分配任务；

判断请求分配任务的计算节点中是否存在输入数据，若是，则调度与所述输入数据对应的待分配任务至所述计算节点中，若否，则根据待分配任务输入数据分布和任务遍历次序计算调度概率；

按照所述调度概率由高到低的顺序将待分配任务调度至所述计算节点中。

优选地，所述根据待分配任务输入数据分布和任务遍历次序计算调度概率的步骤之前还包括：

根据任务进度预测下一个请求分配任务的计算节点；

获取输入数据存储于所述下一个请求分配任务的计算节点的任务；

将输入数据存储于所述下一个请求分配任务的计算节点的任务保留给所述下一个请求分配任务的计算节点。

优选地，所述根据待分配任务进度预测下一个请求分配任务的计算节点的步骤为：

设置参考输入数据规模；

对输入数据规模不等于参考输入数据规模的每一任务根据对应的任务进度以及参考输入数据规模计算得到假想任务的进度；

用假想任务的进度替代所述任务进度；

按照任务进度的大小排列所有任务，取与任务进度最大的任务所对应的计算节点作为下一个请求分配任务的计算节点。

优选地，所述按照任务进度的大小排列所有任务，取与任务进度最大的任务对应的计算节点作为下一个请求分配任务的计算节点的步骤之后还包括：

在排列的任务中以任务进度最大的任务为起始依次提取预设个数的任务所对应的计算节点作为下一个请求分配任务的计算节点。

优选地，所述根据待分配任务输入数据的分布和任务遍历次序计算调度概率的步骤为：

根据待分配任务相对于请求分配任务的计算节点设定的等级、任务遍历次序及所述待分配任务的输入数据是否存储在下一个请求分配任务的计算节点计算调度概率；

所述按照所述调度概率由高到低的顺序将待分配任务调度至所述计算节点中的步骤为：

根据请求分配任务的计算节点与输入数据的存储位置的距离按照由近到远的顺序依次在划分的任务等级中判断是否存在属于所述任务等级的待分配任务，若是，则按照调度概率由高到低的顺序调度相应的待分配任务至请求分配任务的计算节点，若否，则选择下一任务等级进入所述下一任务等级中是否存在待分配任务的判断。

一种任务调度系统，至少包括：

计算节点，用于处理任务；

控制装置，用于判断请求分配任务的计算节点中是否存在输入数据，若是，则通知调度装置，若否，则通知处理装置；

所述调度装置用于调度与所述输入数据对应的待分配任务至所述计算节点中，按照所述调度概率由高到低的顺序将待分配任务调度至所述计算节点中；

所述处理装置用于根据待分配任务输入数据分布和任务遍历次序计算调度概率。

优选地，还包括：

预测装置，用于根据任务进度预测下一个请求分配任务的计算节点；

所述控制装置还用于获取输入数据存储于所述下一个请求分配任务的计算节点的任务；

所述调度装置还用于将输入数据存储于所述下一个请求分配任务的计算节点的任务保留给所述下一个请求分配任务的计算节点。

优选地，所述预测装置包括：

假想任务进度计算单元，用于设置参照输入规模，对输入数据规模不等于参照输入数据规模的每一任务根据对应的任务进度以及参考输入数据规模计算得到假想任务的进度，用假想任务的进度替代所述任务进度；