[发明专利]一种基于任务复制的多复本容错并行任务调度方法

说明书

技术领域

本发明涉及计算机领域的并行任务调度，特别是有限处理器环境下的容错并行DAG任务调度方法。 

背景技术

将DAG图中的并行任务调度到处理器机群中以获得最短执行时间一直是并行任务调度中的重要研究课题。随着高速局域网以及分布式计算的发展，基于分布式主存的并行计算获得了快速的发展，分布式环境下处理器节点以及网络数据传输都有可能会出现失效问题，因此在满足系统容错参数f的前提下，追求更短的调度长度成为需要研究的问题。 

并行任务调度一般分为表调度、基于任务机群的调度、非确定性调度和基于任务复制的调度，任务模型一般采用DAG模型。由于局域网环境下通信开销成为影响并行计算效率的主要因素，而同一处理器上前驱后继任务间的数据传输时间可以忽略不计，一般局域网环境下可以采用任务复制调度思路，任务复制的基本思想是利用处理器的空闲时隙冗余地复制当前任务的前驱任务，从而避免任务间的数据传输。常用的任务复制算法有DSH、PY、LWB、BTDH、LCTD、CPFD等。 

上述并行任务调度方法不具备容错能力，分布式并行环境下，处理器节点和网络数据传输的失效问题使得容错能力成为并行计算模型的一个主要的考虑因素。一般并行计算的容错模式主要有被动复制(Passive replication/Primary &Backup)和主动复制(Active replication/N-Modular redundancy)，主动复制容错也被称为多复本容错。被动复制技术是传统的考虑时间和空间的容错方法，该方法的主要思想是从任务只有在主任务出现错误的时候才被激活。该模式的主要优点是在提供容错机制的同时能够达到很好的可调度性，因为任意的任务节点只有两个复本，而缺点就是容错能力有限，系统不能容纳超过一个节点的失效问题(fail-stop错误)。主动复制技术采用空间冗余思想，为了能够容纳f个计算节点的失效，DAG任务图中的任意任务节点都将被备份f+1份。下面简要介绍已有容错并行调度方法FTBAR算法和FTSA算法。 

FTBAR(Fault Tolerant Based Active Replication strategy)算法基于贪心的表调度思想，算法采用称为调度压力的代价函数，在算法执行的第n步，任务t_i调度到处理器p_j上的调度压力公式为：σ⁽ⁿ⁾(t_i,p_j)=S⁽ⁿ⁾(t_i,p_j)+s(t_i)-R^(n-1)，其中，S⁽ⁿ⁾(t_i,p_j)表示任务t_i在处理器p_j上的最早执行时间，s(t_i)表示任务t_i的最迟执行时间，R^(n-1)表示第n-1步时的调度长度，该算法的基本调度思路如下： 

①对于任意未调度任务t_i，计算其在所有处理器上的调度压力，并记录调度压力最小的f+1个处理器； 

②选择所有未调度任务t_i的所有配对<t_i,p_jk>，选择其中调度压力值最大的任务t_i； 

③根据步骤①的记录将任务t_i调度到调度压力最小的f+1个处理器上，计算 最早开始时间。 

FTSA(Fault Tolerant Scheduling Algorithm)算法首先采用任务重要性(task criticalness)的概念来衡量DAG任务的优先级，其计算公式如下：TC(t)=tl(t)+bl(t)，其中，tl(t)表示开始任务到当前任务的最长路径，该值为动态值，依赖于前驱任务的调度安排，bl(t)表示结束任务到当前任务的静态值，该值可以在调度开始前根据DAG图计算出来，FTSA算法的基本思路如下： 

①计算所有未调度任务的重要性值，选择优先队列中优先级最高的任务t_i； 

②利用FTSA算法公式计算出任务t_i在所有处理器上的结束时间，并记录结束时间最早的f+1个处理器，然后将任务t_i调度到这些处理器上；