[发明专利]一种基于工作流吞吐量最大化的工作流调度方法

权利要求书

1.一种基于工作流吞吐量最大化的工作流调度方法，其特征在于，考虑多个工作流在异构分布式计算资源上调度，通过执行期限约束的工作流吞吐量最大化设计，充分利用计算资源，从而提高工作流的调度效率；所述方法包括以下步骤：

步骤1，用户提交具有执行期限约束的工作流；

多个用户向工作流调度系统提交具有执行期限约束的的工作流，要求该工作流必须在规定的时间内完成；如果工作流不能在规定时间内完成，反馈信息给用户，用户根据反馈信息选择下一步活动；如果工作流能够在规定的时间内完成，则将工作流的各个任务映射到异构分布式计算资源上调度执行；

步骤2，将工作流转换为有向无环任务模型图DAG；

步骤2.1，对每一个用户提交的工作流进行预处理；

(1)用G＝(V，E)表示DAG任务模型图；

DAG任务模型图中各个参数的含义如下：

G＝(V，E)中的V和E：V表示v个任务结点的集合，每个结点代表工作流的一个任务，称为任务结点；E表示e条有向边的集合，每条边代表任务结点之间的先后顺序和数据传递依赖关系；DAG任务模型图由v个任务结点和e条有向边构成；

有向边：DAG任务模型图的任意一条有向边记为(n_i，n_j)，n_i是有向边的尾任务结点，n_j是有向边的头任务结点，i和j分别表示任务结点n_i和n_j在DAG任务模型图中的编号，且满足i<j；有向边(n_i，n_j)表示任务结点n_i和n_j之间的先后顺序和数据传递依赖关系，即任务结点n_j必须在任务结点n_i的输出数据完整送达以后才能开始执行；

有向边的权重值：任务结点之间的数据传递的时间用有向边的权重值表示；当同一个DAG任务模型图的不同任务结点n_i和n_j在同一个计算资源上执行时，任务结点n_i的输出数据不经过网络传输就能被任务结点n_j接收，有向边(n_i，n_j)的权重值为0；当n_i和n_j在不同的计算资源上执行时，由于不同的计算资源之间是通过网络进行连接，因此有向边(n_i，n_j)的权重值不为0；

出入口结点：在DAG任务模型图中，没有父结点的结点称为DAG入口结点，没有子结点的结点称为DAG出口结点，每个DAG任务模型图有且仅有一个入口结点和一个出口结点；

(2)制作表示某个任务结点在某计算资源上的计算时间二维表W；

对每个任务进行分类，对每一类固定类型的任务结点，根据以往的经验值可以得出该任务结点在某计算资源上需要多少计算时间，从而得到一个n×m的二维表W，二维表的值表示某个任务结点在某计算资源上的计算时间，n为该DAG任务模型图中任务结点的数量，m为用于执行工作流计算的异构分布式计算资源的数量；

所述异构分布式计算资源对同一个任务结点的计算时间是不相同的，因此，对同一个任务结点，在不同的计算资源上有一个不同的计算时间；

步骤2.2，计算DAG任务模型图中每个任务结点的向上rank值，公式如下：

${\mathrm{rank}}_u\left(n_i\right)=\stackrel{\&OverBar;}{w_i}+\underset{n_j\&Element;succ\left(n_i\right)}{max}(\stackrel{\&OverBar;}{c_{i,j}}+{\mathrm{rank}}_u(n_j\left)\right)$

式中，为任务n_i在m个计算资源上的平均计算时间，w_i,k表示任务结点n_i在计算资源M_k上的计算时间；succ(n_i)为任务结点n_i的子任务结点集合；c_i,j＝L_m+data_i,j/B_m,n为任务结点n_i和n_j在分配的两个计算资源M_m和M_n上的数据传输时间，L_m表示计算资源M_m的数据传输启动时间，data_i,j表示从任务结点n_i到任务结点n_j传输的数据量，任意两个结点之间的数据传递量可以表示为矩阵Data_v×v，B_m,n表示从计算资源M_m到计算资源M_n的数据传输速率，L_m和B_m,n都是异构分布式计算环境的已知参数，如果n_i和n_j被分配在了同一个计算资源上，即m＝n，则忽略计算资源内部的数据传递时间，即c_i,j＝0；是任务结点n_i和n_j之间的数据传递的平均时间，表示计算资源数据传输启动时间的均值，为数据在计算资源间的平均传输速率，和都是异构分布式计算环境的已知参数；

出口任务结点n_exit的向上rank值因为任务结点n_exit没有子结点，表示出口结点n_exit的任务在m个计算资源上的平均计算时间，当n_i＝n_exit时，rank_u(n_i)＝rank_u(n_exit)；

在计算DAG任务模型图的每一个任务结点的向上rank值时，将作为计算的初始值，从出口任务结点n_exit的向上rank值开始向前推导，即可计算出余下任务结点的向上rank值；

rank值可用作任务结点进行调度的优先级，任务结点的向上rank值越大，优先级越高；优先选择优先级高的任务结点进行调度；

步骤3，进行DAG任务结点调度；

步骤3.1，输入一组步骤2得到的待调度的DAG，每一个待调度有向无环任务模型图G_i具有相应的执行期限约束将该G_i的任务结点按照由步骤2计算得到的向上rank值的大小排序形成一个待调度的任务队列；

步骤3.2，对所有DAG任务结点进行调度；

步骤4，输出工作流吞吐量最大化调度方案，并将其返回给用户；

步骤5，按照步骤4输出的工作流调度方案，将用户提交的工作流映射到具体的计算资源上执行，完成工作流调度。

2.根据权利要求1所述的一种基于工作流吞吐量最大化的工作流调度方法，其特征在于，所述步骤3.2对所有DAG任务结点进行调度的方法还包括以下步骤：

(1)如果所有的DAG调度完毕，则结束本次调度；否则，转步骤(2)；

(2)计算G_i的相对严格程度值r，公式如下：

$r=m_{un\left(G_i\right)-S_{HEFT}}/m_{avail-un\left(G_i\right)}$

$m_{un\left(G_i\right)-S_{HEFT}}={\mathrm{tf}}_{un\left(G_i\right)-S_{HEFT}}-{\mathrm{ts}}_{un\left(G_i\right)-S_{HEFT}}$

$m_{avail-un\left(G_i\right)}=t_{Deadline-G_i}-{\mathrm{ts}}_{un\left(G_i\right)-S_{HEFT}}$

式中，un(G_i)表示在调度过程的某个时间点上，G_i未被调度的任务结点的集合；下标un(G_i)-S_HEFT表示使用HEFT算法调度un(G_i)的任务结点；表示un(G_i)的执行时间，和分别表示un(G_i)中在计算资源上最早的开始和结束时间；表示un(G_i)的可用时间；

(3)如果所有的r值都满足0<r<1，则选择r值最大的DAG任务模型图进行调度，具体过程是在该DAG中选择一个向上rank值最高的任务结点，即待调度队列队首的任务结点，进行调度，将任务结点压入预先设置的任务结点栈内中，并从该DAG待调度任务结点队列中删除该任务结点，然后转步骤(1)；否则，转步骤(4)；

(4)如果存在一个DAG任务模型图的r值等于1，且其它DAG任务模型图的r值满足0<r<1，选择r＝1且执行时间最长的DAG任务模型图进行调度，具体过程是将该r值等于1的DAG任务模型图的所有剩余的任务结点都进行调度，将它们压入预先设置的任务结点栈内，并在未调度完成的DAG任务模型图集合中删除该DAG任务模型图，然后转步骤(1)；否则，转步骤(5)；

(5)如果存在DAG任务模型图的r值满足r>1或者r<0的情况，则表示在上一次任务调度之后，出现了某些DAG任务模型图的任务结点不能在执行期限内完成的情况，即“过饱和”情况，如果这种情况不是连续第二次出现，则可以采用“堆栈”与“调度回溯”相结合的机制来处理，具体过程是取消上一次调度的压入任务栈的所有任务结点，将其返回到所属的DAG任务模型图待调度队列，如果该DAG任务模型图已经从待调度DAG集合中删除，则将该DAG再次加入到待调度的DAG集合，然后从r>1或者r<0的DAG任务模型图中选择一个执行时间最长的DAG任务模型图进行调度，具体过程是将该DAG任务模型图的所有剩余任务结点都进行调度并压入任务结点栈内，并且在未调度完成的DAG集合中删除该DAG任务模型图，然后转步骤(1)；否则，转步骤(6)；

(6)如果存在DAG的r值满足r>1或者r<0的情况且这种情况是连续第二次出现，则删除r值满足r>1或者r<0的DAG任务模型图中任务调度完成比例最低的一个DAG，并从任务结点栈内弹出该被删除DAG任务模型图的所有任务结点，然后转步骤(1)。