[发明专利]MapReduce系统中的任务分配方法、系统及装置

说明书

技术领域

本发明涉及云计算技术领域，尤其涉及一种映射化简(MapReduce，MR)系统中的任务分配方法、系统及装置。

背景技术

MR系统为一种分布式的并行系统，应用于云计算中的海量数据处理中，在MR系统中通过映射(Map)和化简(Reduce)过程实现对数据的分布式处理。

图1为现有技术中MR系统的逻辑组成结构示意图，在MR系统中包括客户端(client)、主节点(master)和工作节点(worker)，并且为了实现对数据的分布式处理，在MR系统中包括多个客户端和多个工作节点。图2为现有技术MR系统中进行任务分配的过程，该过程包括以下步骤：

S201：用户向客户端发送进行业务处理的指示信息以及待处理的数据。

S202：客户端接收到该待处理的数据后，将进行业务处理的指示信息和待处理的数据保存到分布式文件系统。

S203：该客户端对待处理的数据进行数据分片处理。

S204：客户端对数据分片处理后，将所述用户发送的进行业务处理的指示信息发送到所述主节点。

S205：主节点根据接收的所述指示信息将所述分片后的数据分解为待执行的任务，即将分片后的数据分解为Map任务和/或Reduce任务。

S206：当工作节点请求任务时，主节点将分解后的待执行任务发送到工作节点执行。

在现有技术的上述实施过程中，当客户端接收到用户发送的待处理的数据后，自身进行处理，由于对待处理的数据进行数据分片时占用客户端一定的内存资源，当客户端在短时间内对大量的数据进行数据分片处理时，客户端可能出现由于内存溢出而宕机的故障。由于整个MR系统为并行处理系统，当该客户端出现故障时，整个MR系统的可靠性将受到影响。

发明内容

有鉴于此，本发明实施例提供一种MapReduce系统中任务分配方法、系统及装置，用以解决现有技术中客户端可能出现由于内存溢出而宕机的故障，从而影响MR系统可靠性的问题。

本发明实施例提供的一种MapReduce系统中的任务分配方法，包括：

客户端管理节点接收数据分片任务；

所述客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端；

所述客户端管理节点将所述数据分片任务中的待处理数据分配给确定的所述客户端。

本发明实施例提供的一种MapReduce系统中的任务分配方法，包括：

第一客户端接收用户发送的待处理的数据，判断自身的资源利用信息是否满足预设条件；

当所述第一客户端的资源利用信息不满足预设条件时，所述第一客户端根据保存的其他客户端的资源利用信息，确定进行数据分片处理的第二客户端，指示所述第二客户端对所述待处理的数据进行数据分片处理。

本发明实施例提供的一种MapReduce系统中的任务分配系统，包括：

客户端管理节点，用于接收数据分片任务，根据各客户端的资源利用信息，确定进行数据分片处理的客户端，将所述数据分片任务中的待处理数据分配给确定的所述客户端，指示确定的所述客户端对待处理的数据进行数据分片处理；

客户端，用于接收所述客户端管理节点分配的对待处理数据进行分片处理的任务，并对所述待处理的数据进行数据分片处理。

本发明实施例提供的一种MapReduce系统中的任务分配系统，包括：

第一客户端，用于接收用户发送的待处理的数据，判断自身的资源利用信息是否满足预设条件，当自身的资源利用信息不满足预设条件时，所述第一客户端根据保存的其他客户端的资源利用信息，确定进行数据分片处理的第二客户端，指示所述第二客户端对所述待处理的数据进行数据分片处理；

第二客户端，用于对所述待处理的数据进行数据分片处理。

本发明实施例提供的一种MapReduce系统中的任务分配装置，包括：

接收模块，用于接收数据分片任务；

确定模块，用于根据各客户端的资源利用信息，确定进行数据分片处理的客户端；

分配模块，用于将所述数据分片任务中的待处理数据分配给确定的所述客户端，指示确定的所述客户端对待处理的数据进行数据分片处理。

本发明实施例提供的一种MapReduce系统中的任务分配装置，包括：

接收判断模块，用于接收用户发送的待处理的数据，判断自身的资源利用信息是否满足预设条件；