[发明专利]分布式任务处理方法和装置

权利要求书

1.一种分布式任务处理方法，其特征在于，包括：

计算节点通过守护进程监测该计算节点的至少一个健康指标值；

计算节点根据所述健康指标值及与该健康指标值对应的预设阈值，判断该计算节点是否具有从预先存储有若干子任务的任务池中领取子任务的权限；其中，所述子任务是通过将待处理的分布式任务进行拆分得到的；

若该计算节点具有领取子任务的权限，计算节点从所述任务池中领取至少一个子任务；

计算节点生成与领取到的子任务对应的任务线程并利用该任务线程执行该子任务。

2.如权利要求1所述的方法，其特征在于，计算节点根据所述健康指标值及与该健康指标值对应的预设阈值，判断该计算节点是否具有从预先存储有若干子任务的任务池中领取子任务的权限，具体包括：

若所述健康指标值用以表征所述计算节点的资源耗用情况，计算节点判断所述健康指标值是否小于与该健康指标值对应的预设阈值，若是，判定该计算节点具有领取子任务的权限；

或，

若所述健康指标值用以表征所述计算节点的可用资源量，计算节点判断所述健康指标值是否大于与该健康指标值对应的预设阈值，若是，判定该计算节点具有领取子任务的权限。

3.如权利要求1所述的方法，其特征在于，所述计算节点根据所述健康指标值及与该健康指标值对应的预设阈值，判断该计算节点是否具有从预先存储有若干子任务的任务池中领取子任务的权限之前，所述方法还包括：

计算节点根据任务池中存储的子任务需消耗计算节点的资源量，确定与健康指标值对应的预设阈值。

4.如权利要求1所述的方法，其特征在于，计算节点从所述任务池中领 取至少一个子任务，具体包括：

计算节点从所述任务池中领取至少一个子任务的状态信息中不包含子任务锁信息的子任务；所述子任务的状态信息用于标识子任务的状态；

所述计算节点从所述任务池中领取至少一个子任务之后，所述方法还包括：

计算节点通过守护进程生成与领取到的子任务对应的子任务锁信息；其中，所述子任务锁信息包含领取该子任务的计算节点的标识ID及锁定该子任务的时间戳；

计算节点利用所述子任务锁信息对领取到的子任务的状态信息进行更新。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

计算节点判断领取到的子任务是否在所述子任务锁信息中的锁定该子任务的时间戳之后的预设更新时长内执行完毕；

若否，计算节点判断该子任务是否在执行中；

若该子任务在执行中，计算节点将领取到的子任务的状态信息中包含的锁定该子任务的时间戳更新为当前时间戳。

6.如权利要求5所述的方法，其特征在于，计算节点判断该子任务是否在执行中之后，所述方法还包括：

若该子任务未在执行中，将该子任务的状态信息中的子任务锁信息进行清空，并将该子任务的当前任务状态置于可领取。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

计算节点在领取到的子任务执行完毕后，将与该子任务对应的状态信息中的当前任务状态更新为成功；

计算节点逐一检查所述任务池中包含的每个子任务对应的状态信息中的当前任务状态是否为成功；

若是，计算节点确定所述待处理的分布式任务执行完毕。

8.一种分布式任务处理装置，其特征在于，包括：

获取单元，用于通过守护进程监测该计算节点的至少一个健康指标值；

判断单元，用于根据所述健康指标值及与该健康指标值对应的预设阈值，判断该计算节点是否具有从预先存储有若干子任务的任务池中领取子任务的权限；其中，所述子任务是通过将待处理的分布式任务进行拆分得到的；

领取单元，用于在计算节点具有领取子任务的权限时，从所述任务池中领取至少一个子任务；

生成单元，用于生成与领取到的子任务对应的任务线程并利用该任务线程执行该子任务。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

子任务锁生成单元，用于通过守护进程生成与领取到的子任务对应的子任务锁信息；其中，所述子任务锁信息包含领取该子任务的计算节点的标识ID及锁定该子任务的时间戳；

子任务状态更新单元，用于利用所述子任务锁信息对领取到的子任务的状态信息进行更新。