[发明专利]一种用于任务调度的方法和装置

说明书

技术领域

本发明涉及分布式并行计算领域，尤其涉及一种用于任务调度的方法和装置。

背景技术

MapReduce是谷歌公司（Google）提出的一种新型和有效的分布式并行计算架构，其成为了在云计算时代的最广泛使用的架构。MapReduce架构被设计用于在异质（heterogeneous）计算机集群中进行并行计算，以改善并行计算的总体计算性能。

在MapReduce架构中，每一个工作（Job）被划分成能在计算集群的多个计算节点上并行运行的多个任务（task），这些任务按照其类型可以分为映射（Map）任务和归约（Reduce）任务。

对于每一个工作的各个任务，哪一个任务由计算集群中的哪一个计算节点来处理并且什么时候进行处理由任务调度（task scheduling）来确定。因此，任务调度在并行计算中很重要，其能影响并行计算的总体性能。

发明内容

本发明的实施例提出一种用于任务调度的方法和装置，其能够提高分布式并行计算的总体性能。

按照本发明实施例的一种用于任务调度的方法，包括：当接收到计算集群中的计算节点发送的请求分配具有指定类型的任务的消息时，根据所存储的发送所述消息的计算节点处理各个任务所花费的处理时间的信息，从待处理的任务的至少一部分任务中确定属于所述指定类型且发送所述消息的计算节点以前处理其所花费的处理时间最小的任务；以及，将所述确定的任务分配给发送所述消息的计算节点进行处理。

在一种具体实现中，所述确定步骤包括：根据所存储的所述计算集群中的各个计算节点处理所述待处理的任务所花费的处理时间的信息，统计所述待处理的任务各自的最小处理时间；从所述待处理的任务中，查找出其最小处理时间大于第一指定阈值的任务；以及，根据所存储的关于发送所述消息的计算节点处理各个任务所花费的处理时间的信息，从所述查找的任务中检索出属于所述指定类型且发送所述消息的计算节点以前处理其所花费的处理时间最小的任务，作为所述确定的任务。

其中，所述第一指定阈值是基于所述待处理的任务的最小处理时间确定的。

在另一种具体实现中，所述确定步骤包括：根据所存储的所述计算集群中的各个计算节点处理所述待处理的任务所花费的处理时间的信息，统计所述待处理的任务各自的最小处理时间；从所述待处理的任务中，查找出其属于所述指定类型且其最小处理时间大于第二指定阈值的任务；以及，根据所存储的关于发送所述消息的计算节点处理各个任务所花费的处理时间的信息，从所述查找的任务中检索出发送所述消息的计算节点以前处理其所花费的处理时间最小的任务，作为所述确定的任务。

其中，所述第二指定阈值是基于所述待处理的任务中的特定任务的最小处理时间确定的，其中所述特定任务是属于所述指定类型的任务。

在一种具体实现中，所述还包括：在从所述计算集群中的计算节点接收到关于其处理一个任务所花费的处理时间的信息之后，存储所接收的信息。

按照本发明实施例的一种用于任务调度的装置，包括：决策模块，用于当接收到计算集群中的计算节点发送的请求分配具有指定类型的任务的消息时，根据所存储的发送所述消息的计算节点处理各个任务所花费的处理时间的信息，从待处理的任务的至少一部分任务中确定属于所述指定类型且发送所述消息的计算节点以前处理其所花费的处理时间最小的任务；以及，分配模块，用于将所述确定的任务分配给发送所述消息的计算节点进行处理。

在一种具体实现中，所述决策模块包括：第一统计模块，用于根据所存储的所述计算集群中的各个计算节点处理所述待处理的任务所花费的处理时间的信息，统计所述待处理的任务各自的最小处理时间；第一查找模块，用于从所述待处理的任务中，查找出最小处理时间大于第一指定阈值的任务；以及，第一检索模块，用于根据所存储的关于发送所述消息的计算节点处理各个任务所花费的处理时间的信息，从所述查找的任务中检索出其属于所述指定类型且发送所述消息的计算节点以前处理其所花费的处理时间最小的任务，作为所述确定的任务。

其中，所述第一指定阈值是基于所述待处理的任务的最小处理时间确定的。