[发明专利]MapReduce系统中的任务分配方法、系统及装置

权利要求书

1.一种映射化简MapReduce系统中的任务分配方法，其特征在于，包括：

客户端管理节点接收数据分片任务；

所述客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端；

所述客户端管理节点将所述数据分片任务中的待处理数据分配给确定的所述客户端。

2.如权利要求1所述的方法，其特征在于，所述客户端管理节点接收的数据分片任务为客户端在接收到用户发送的待处理数据后发来的。

3.如权利要求1所述的方法，其特征在于，所述客户端管理节点获取各客户端的资源利用信息包括：

所述客户端管理节点根据接收到所述数据分片任务，及保存的与其连接的各客户端的标识信息，向所述各客户端发送获取资源利用信息的请求信息，接收并保存所述各客户端返回的资源利用信息；或，

客户端管理节点接收与自身连接的各客户端根据设置的上报周期，上报给自身的资源利用信息并保存。

4.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

所述客户端管理节点接收确定的所述客户端发送的通知信息，所述通知信息用于通知所述客户端管理节点确定的所述客户端对所述待处理的数据分片处理完成。

5.如权利要求4所述的方法，其特征在于，所述方法进一步包括：

所述客户端管理节点将用户发送的业务处理指示信息发送到主节点，指示所述主节点根据所述业务处理指示信息，将分片处理后的数据进行业务处理类型的划分，并将划分后的数据调度到的工作节点上，指示工作节点采用对应的业务处理类型处理。

6.如权利要求5所述的方法，其特征在于，所述方法进一步包括：

所述客户端管理节点接收用户发送的业务状态查询请求：

所述客户端管理节点将所述业务状态查询请求发送到所述主节点，并接收所述主节点反馈的查询结果；

所述客户端管理节点将所述查询结果返回所述用户。

7.一种映射化简MapReduce系统中的任务分配方法，其特征在于，所述方法包括：

第一客户端接收用户发送的待处理的数据，判断自身的资源利用信息是否满足预设条件；

当所述第一客户端的资源利用信息不满足预设条件时，所述第一客户端根据保存的其他客户端的资源利用信息，确定进行数据分片处理的第二客户端，指示所述第二客户端对所述待处理的数据进行数据分片处理。

8.如权利要求7所述的方法，其特征在于，所述第一客户端获取其他客户端的资源利用信息包括：

所述第一客户端根据保存的其他客户端中每个其他客户端的标识信息，向其他客户端中的其他客户端发送获取资源利用信息的请求信息，接收并保存所述其他客户端返回的资源利用信息。

9.如权利要求7所述的方法，其特征在于，所述方法进一步包括：

所述第二客户端在对待处理的数据分片处理完成后，向主节点发送业务处理指示信息，指示所述主节点根据所述业务处理指示信息，将分片处理后的数据进行业务处理类型的划分，并将划分后的数据调度到的工作节点上，指示工作节点采用对应的工作处理类型处理。

10.如权利要求9所述的方法，其特征在于，所述方法进一步包括：

所述第一客户端接收用户发送的业务状态查询请求；

所述第一客户端将所述业务状态查询请求发送到所述主节点，并接收主节点反馈的查询结果；

所述第一客户端将所述查询结果返回所述用户。

11.一种映射化简MapReduce系统中的任务分配系统，其特征在于，所述系统包括：

客户端管理节点，用于接收数据分片任务，根据各客户端的资源利用信息，确定进行数据分片处理的客户端，将所述数据分片任务中的待处理数据分配给确定的所述客户端，指示确定的所述客户端对待处理的数据进行数据分片处理；

客户端，用于接收所述客户端管理节点分配的对待处理数据进行分片处理的任务，并对所述待处理的数据进行数据分片处理。