[发明专利]一种任务调度方法与装置

说明书

本发明提供了一种任务调度方法及装置；所述方法包括：当判断需要将第一节点的任务调度到第二节点时，获取系统中各节点当前的属性数据；所述第二节点为空闲节点；根据所述属性数据确定预计完成时间最小的组合调度方案；所述组合调度方案是指按照对应的有向路径，将该有向路径上各节点执行的任务迁移到下一个节点上重新执行；各所述组合调度方案对应的所述有向路径不同；各所述有向路径上包括两个或两个以上节点，起点为所述第一节点，终点为所述第二节点；按照所确定的组合调度方案对相应有向路径上各节点的任务进行迁移。本发明能够在调度预测执行任务时满足数据本地性需求，从而降低大数据处理作业的执行时间。

技术领域

本发明涉及大数据处理领域，尤其涉及一种任务调度方法与装置。

背景技术

在大数据处理系统的作业调度问题中，随着数据集的增加，移动数据的代价远远大于“移动”数据处理模块的代价，因此，在大数据处理环境中，需要将计算推向数据而非将数据推向计算，即取得更好的数据本地性(DL：data locallity)是取得大数据处理系统高效率的核心。

同时，在大数据处理过程中，如果一个节点执行任务的速度明显慢于其他节点，则该节点被标志为慢节点(straggler)，其上执行的任务被标识为慢任务(straggler task)，慢任务会大大延长MapReduce等大数据处理批处理任务的执行时间，从而被谷歌的工程师定义为影响系统性能优化的难题之一。并且，以MapReduce为代表的批处理模式，其处理模式多分为几个阶段，以MapReduce为例，MapReduce作业的生命周期大致可分为2个阶段：Map阶段和Reduce阶段。在每个阶段，依据处理数据集的大小，计算被均匀地分解为小的任务集合，每个任务被调度到各自的计算节点执行，从而实现对大数据集的并行处理并加速作业完成。每个Reduce任务的输入依赖于所有Map任务的输出，只有所有Map任务均成功完成后Reduce任务才会开始。如果部分Map任务进展缓慢，会造成Map阶段不能迅速结束，使得Reduce阶段不能开始，造成其他Reduce任务处理资源等待，不仅延长了整个作业的完成时间，而且造成了资源闲置和计算能力浪费；对于Reduce慢任务，由于其迟迟不能完成，保存在Map任务节点上的中间数据不能删除，造成存储空间浪费。

为了解决慢任务的问题，一般采用重现调度的模式实现。以MapReduce编程模型的开源实现Hadoop为例，Hadoop的缺省调度器使用ProgressScore 来量化一个任务的进展程度，对于Map任务而言，任务的进度和已处理数据的大小成正比，所以ProgressScore即为已处理数据占输入数据的比例。TaskTracker会在每次发送心跳信息时汇报其上运行任务的ProgressScore，因此，集中的任务调度器JobTracker知道每个任务的ProgressScore。

Hadoop采用一种简单的方式识别慢任务，首先，JobTracker对所有任务的ProgressScore求算术平均值，用averageScore表示，如果有n个任务正在运行，则其值可由下式求得：

当某个任务至少运行1分钟后，JobTracker检查它当前的ProgressScore是否低于averageScore－0.2，如果低于，该任务就被标示为慢任务，当有空闲任务槽可用时，JobTracker会调度该任务的一个副本任务，称为预测执行任务(speculative task)，到空闲计算槽上执行。

但是，Hadoop的缺省机制没有考虑数据本地性的需求。在集中管理的数据中心中，这种做法有其合理性，因为数据中心中节点间带宽资源相对充足，预测执行任务数所占总任务数比例不大的情况下，传输数据的时间开销不会对作业完成时间造成太大影响。