[发明专利]一种适于大规模并行数据处理任务的两级自适应调度方法

权利要求书

1.一种适于大规模并行数据处理任务的两级自适应调度方法，其特征在于包括如下步骤：

步骤一，在任务层级，执行如下工作：

(1.1)将上层应用提交的任务按任务类型放置于相应的任务等待队列中，所述任务等待队列包括长任务等待队列、短任务等待队列和即时任务等待队列；

(1.2)调度器按任务间依赖关系和当前空闲的执行器个数，从任务等待队列中取出当前能够执行的任务，分发给相应的执行器池，所述执行器池包括长任务执行器池、短任务执行器池和即时任务执行器池；

(1.3)每种类型的执行器池将接收的任务分发给当前空闲的执行器；

步骤二，进入子任务层级，执行如下工作：

(2.1)执行器将接收的任务拆分为子任务，并将子任务有序地分配给多线程并行处理；

(2.2)任务执行完成后，将任务状态标记为执行完成，并将其放入已完成任务数据库中；

在调度和处理的同时，实时采集执行器执行情况，统计后反馈给调度器，调度器据此调整任务所在任务等待队列以及执行器池执行器数量，实现自适应调整。

2.根据权利要求1的一种适于大规模并行数据处理任务的两级自适应调度方法，其特征在于：上层应用在提交任务的同时，还需附带上任务的相关属性，包括任务名称、任务类型、业务类型、前驱任务列表、任务上下文和子任务二级链表；

其中，任务类型包括长任务、短任务和即时任务三类，其中长任务是指上层应用预估任务所需执行时间大于执行时间划分阈值的任务，短任务是指上层应用预估任务所需执行时间小于执行时间划分阈值的任务；

业务类型是指任务的业务功能；

前驱任务列表中列出的是当前任务所直接依赖的全部前驱任务，只有在前驱任务执行完毕后当前任务才可以执行；

子任务二级链表记录子任务执行顺序的二维拓扑，包含m层链表，每层链表包含多个节点，每一节点包含一个子任务，每层链表上的子任务并行执行，前一层链表的所有子任务均执行结束后，进入下一层链表，m为大于等于1的自然数；

任务上下文是指任务运行的环境，包括运行时所需要的数据资源、计算机资源。

3.根据权利要求1的一种适于大规模并行数据处理任务的两级自适应调度方法，其特征在于：所述步骤(1.2)的实现方法如下：

(3.1)即时任务一进入即时任务队列，调度器立即将其取出放入即时任务执行器池；

(3.2)对于非即时任务，调度器根据任务类型循环查询对应执行器池中空闲执行器个数，从任务等待队列中采用滑动窗口调度方式获取符合条件的任务，提交给对应的执行器池。

4.根据权利要求3的一种适于大规模并行数据处理任务的两级自适应调度方法，其特征在于：所述步骤(3.2)的实现方法如下：

3.2.1、根据任务类型查询此时对应执行器池空闲执行器个数，假设对应执行器池空闲执行器个数为N，则将调度窗口大小W的值设为N；

3.2.2、将调度窗口起始位置置于任务选取指针P所指向的任务位置上；

3.2.3、若W大于0且调度窗口内有任务，获取任务选取指针P所指向的任务，查询该任务的前驱任务列表，检查前驱任务列表中各前驱任务的状态；反之若W为0或窗口内已无任务，跳转执行步骤六；

3.2.4、判断所有前驱任务是否均已执行完毕，若是，则从任务等待队列中取出该任务，任务状态标记为“计划执行”，调度窗口大小调整为W＝W-1，进入3.2.5；若否，进入3.2.5；

3.2.5、任务选取指针P和调度窗口一同滑动到队列下一任务位置上，跳转执行3.2.3；

3.2.6、将所有从步骤四中取出的任务提交给对应执行器池执行，完成后进入3.2.7；

3.2.7、判断计时时间t是否已达到选取指针回溯时间T，所述计时时间t在调度器启动时从0开始计时，若达到，则将任务选取指针P重新指向任务等待队列起始位置，计时时间t重置为0，重新计时，跳转执行3.2.1；若未达到，跳转执行3.2.1；其中指针回溯时间T要大于5*执行时间划分阈值。