[发明专利]一种集群调度系统及方法

权利要求书

1.一种集群调度系统，其特征在于，包括：

确定单元，用于确定共享集群中的资源与调度参数；

判断单元，用于定时检查是否需要设置检查点；

设置单元，用于当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；具体包括：对预先定义的工作流进行调度，预先定义的工作流包括多组之间存在执行依赖顺序的任务，其中，无前置依赖关系的一组任务是需要最先执行的任务；将任务进行分片处理得到任务数据分片，将任务数据分片分发给执行终端执行，任务数据分片的数量小于执行终端的数量；在无前置依赖关系的一组任务执行完成时，按照任务执行依赖顺序调度剩余任务；

多个执行单元，用于接收任务数据分片并进行执行。

2.如权利要求1所述的集群调度系统，其特征在于，设置单元还用于，监听无前置依赖关系的一组任务在执行单元上的执行状况，在监听到执行单元上的任务数据分片执行失败时，将执行失败的任务数据分片调度给其它执行单元执行。

3.如权利要求2所述的集群调度系统，其特征在于，还包括更新单元，用于当有新任务到达或者共享集群的资源使用状况发生变化时，更新正在运行的任务等待队列。

4.如权利要求3所述的集群调度系统，其特征在于，共享集群的资源使用状况发生变化具体包括：有任务完成以及共享集群各类可用资源增加。

5.如权利要求4所述的集群调度系统，其特征在于，设置单元用于确定需要设置检查点的任务，还包括：获取每个正在运行的任务的优先级，并将所有正在运行的任务按照优先级由高到低排列；获取每个正在运行的任务当前对各类资源的占用率，并对当前各类资源的占用率进行累加，直到各类资源的占用率均超过检查点预设阈值为止；选取占用率最先超过检查点设置阈值的资源所对应的任务，将位于该任务之后的全部任务确定为需要设置检查点的任务。

6.如权利要求5所述的集群调度系统，其特征在于，当多个任务具有相同的优先级时，将多个任务中到达时间较早的视为优先级较高的任务。

7.一种集群调度方法，其特征在于，包括：

S1、确定共享集群中的资源与调度参数；

S2、定时检查是否需要设置检查点；

S3、当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；具体包括：对预先定义的工作流进行调度，预先定义的工作流包括多组之间存在执行依赖顺序的任务，其中，无前置依赖关系的一组任务是需要最先执行的任务；将任务进行分片处理得到任务数据分片，将任务数据分片分发给执行终端执行，任务数据分片的数量小于执行终端的数量；在无前置依赖关系的一组任务执行完成时，按照任务执行依赖顺序调度剩余任务；

S4、接收任务数据分片并进行执行。