[发明专利]一种适于大规模并行数据处理任务的两级自适应调度方法

摘要

本发明公开了一种适于大规模并行数据处理任务的两级自适应调度方法，将任务从任务层级和子任务层级进行两级调度。本发明有效解决了任务间复杂依赖关系所带来的并行调度困难问题，提高了并行度，实现了大规模数据处理任务有序、高效的并行处理，减少了任务等待或执行时间，降低了整体执行时间。此外本发明还能将执行器运行统计信息反馈给调度器，实现自适应调整执行器池大小和任务所属类型，不断优化调度，从而提高了系统资源使用效率。

主权项

1.一种适于大规模并行数据处理任务的两级自适应调度方法，其特征在于包括如下步骤：步骤一，在任务层级，执行如下工作：(1.1)将上层应用提交的任务按任务类型放置于相应的任务等待队列中，所述任务等待队列包括长任务等待队列、短任务等待队列和即时任务等待队列；(1.2)调度器按任务间依赖关系和当前空闲的执行器个数，从任务等待队列中取出当前能够执行的任务，分发给相应的执行器池，所述执行器池包括长任务执行器池、短任务执行器池和即时任务执行器池；(1.3)每种类型的执行器池将接收的任务分发给当前空闲的执行器；步骤二，进入子任务层级，执行如下工作：(2.1)执行器将接收的任务拆分为子任务，并将子任务有序地分配给多线程并行处理；(2.2)任务执行完成后，将任务状态标记为执行完成，并将其放入已完成任务数据库中。