[发明专利]一种分布式作业分发处理方法及系统

权利要求书

1.一种分布式作业分发处理方法，其特征在于，包括：

生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；

将所述任务分发至多个任务节点；

若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。

2.根据权利要求1所述的方法，其特征在于，所述生成针对特定类型作业的多个任务，包括：

根据所述特定类型作业的总数S和每个所述任务的预设数值M，生成N个所述任务，其中N＝S/M。

3.根据权利要求1所述的方法，其特征在于，所述任务节点的个数小于等于预设最大并发执行数。

4.根据权利要求1或2或3所述的方法，其特征在于，所述方法还包括：

若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X不为零，则重新执行所述任务处理，其中，所述重新执行的次数小于等于预设最大失败重试次数X。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X为零，则剔除所述任务节点。

6.一种执行如权利要求1至5任一所述方法的系统，其特征在于，所述系统包括客户端、控制节点、任务节点和集群状态管理器，其中：

所述客户端，连接所述控制节点，用于向所述控制节点发送作业分发请求；

所述控制节点，连接所述任务节点和所述集群状态管理器，用于接收所述客户端发送的作业分发请求；

用于生成针对特定类型作业的多个任务、向所述任务节点发送所述任务，监控所述任务处理的结果状态、接收所述集群状态管理器发送的所述任务处理的结果状态、判定所述任务处理是否执行完成；

所述任务节点，连接所述集群状态管理器，用于执行任务的任务，并向所述集群状态管理器发送所述任务处理的结果状态；

所述集群状态管理器，用于集群资源的协调、交互和共享，向所述控制节点发送所述任务处理的结果状态。

7.根据权利要求6所述的系统，其特征在于，所述系统动态调整所述控制节点和/或所述任务节点的数量。

8.根据权利要求6所述的系统，其特征在于，所述集群状态管理器为Zoo keeper。

9.根据权利要求6所述的系统，其特征在于，所述客户端和所述控制节点之间、所述控制节点和所述任务节点之间通过通信协议HTTP Restful相连接，所用的作业格式为JSON，所述任务节点和所述集群状态管理器采用的通信作业协议是基于Zoo keeper的内部协议。