[发明专利]一种云环境下的工作流调度与数据分配方法

权利要求书

1.一种云环境下的工作流调度与数据分配方法，其特征在于，包括如下步骤：

步骤A：获取云平台当前的工作流；

步骤B：根据调度模型计算工作流中每个任务的高度，并按照高度升序排列任务；

步骤C：使用粒子群优化算法，每个粒子表示一种工作流调度与数据分配方案，以工作流的执行时间以及执行成本为优化目标，获得全局最优的粒子编码；

步骤D：将全局最优的粒子编码解码成工作流调度与数据分配方案并输出；

所述步骤B中，计算工作流中每个任务的高度并按照高度升序排列任务，包括以下步骤：

步骤B1：构造工作流的有向无环图G，方法为：

工作流由n个相互依赖的任务T＝{T₁,T₂,…,T_n}构成，采用有向无环图G＝(V,E)表示，其中V表示节点集合，V＝T，E表示边集合，E＝{e_ij|T_i∈T∧T_j∈T∧T_i∈pred(T_j)}；其中任务T_j的直接前驱任务的集合表示为pred(T_j)，直接后续任务的集合表示为succ(T_j)，只有当pred(T_j)中的任务全部执行完成并且数据传输到任务T_j所在的虚拟机时，任务T_j才开始执行，没有前驱任务的任务节点称为开始任务T_entry，没有后继任务的任务节点称为结束任务T_exit；T_i∈pred(T_j)表示任务T_i是任务T_j的直接前驱任务，即任务T_j是任务T_i的直接后继任务，任务T_j依赖于任务T_i；e_ij表示任务T_i和任务T_j间的边，e_ij的值代表任务T_i需传输给任务T_j的数据量大小；

步骤B2：从工作流的开始任务T_entry出发，遍历工作流的有向无环图G，计算每个任务T_i的初始高度Height_init(T_i)；其中，任务T_i的初始高度Height_init(T_i)的计算方法如下：

步骤B3：从工作流的结束任务T_exit出发，遍历工作流的有向无环图G，计算每个任务T_i的高度Height(T_i)；其中，任务T_i的高度Height(T_i)的计算方法如下：

其中，表示产生位于区间范围内的随机整数；

通过计算工作流中每个任务T_i的高度Height(T_i)，从而确定任务T_i执行的顺序，然后根据任务的高度升序排列，构成任务的拓扑顺序，该顺序是保持任务之间优先级约束的线性顺序；

步骤B4：根据每个任务T_i的高度Height(T_i)，按照高度升序排列任务，构成任务的拓扑顺序；

所述步骤C中，使用粒子群优化算法，以工作流的执行时间以及执行成本为优化目标，获得全局最优的粒子编码，包括以下步骤：

步骤C1：初始化粒子群，设置粒子群算法参数，包括粒子数量、惯性因子、认知能力因子、社会学习因子、迭代次数、种群规模、粒子维数、粒子速度控制范围；其中，初始化粒子群，粒子的编码方式如下：

X_i＝{x_i,1,x_i,2,…,x_i,N}是粒子群X中的第i个粒子，表示工作流调度问题的第i个调度方案，N是工作流所包含的元素数量，工作流元素包括构成工作流的任务和数据，X_i的每一维表示工作流元素与服务节点的映射关系，x_i,j的值表示该工作流元素所在的虚拟机的序号，即将工作流的第j个元素分配到序号为x_i,j的虚拟机，虚拟机的序号的取值范围为[1,m]，m为云平台中的虚拟机节点数；

步骤C2：计算粒子群中每个粒子的适应度值，根据粒子的适应度值，记录个体历史最优粒子和种群最优粒子；其中，粒子群中粒子的适应度值的计算方法如下：

fitness＝α.T_total+β.C_total

其中，α、β表示权重系数，T_total表示工作流执行的时间代价，C_total表示工作流执行的成本代价，具体定义如下：

C_total＝Cost_exe(G)+Cost_tx(G)

其中，工作流执行的时间代价T_total定位为从用户提交一个工作流到获得执行结果的总时间，即结束任务T_exit的完成时间工作流执行的成本代价C_total包括工作流的任务处理代价Cost_exe(G)和数据传输代价Cost_tx(G)；

工作流执行的时间代价T_total的计算方法如下：

首先定义工作流中的任务T_i的任务开始时间和任务完成时间分别为ST_i和FT_i，则ST_i定义如下：

其中VM(T_i)表示任务T_i所分配的虚拟机的序号，表示和任务T_i分配到同一个虚拟机(即VM(T_k)＝VM(T_i))且是最晚先于任务T_i被虚拟机调度执行的任务T_k(即T_k→T_j)的任务完成时间；表示传输任务T_i所需的全部数据所需的时间；TRT_ji为任务T_j存在任务T_i所需的数据D_ji时的数据传输时间，定义如下：

其中，VM(T_j)表示任务T_j所分配的虚拟机的序号，VM(D_ji)表示数据D_ji所放置的虚拟机的序号，表示任务T_j所分配的虚拟机与数据D_ji所放置的虚拟机之间的链路带宽；表示数据D_ji所放置的虚拟机与任务T_i所分配的虚拟机之间的链路带宽；

根据ST_i的定义，FT_i定义为：

其中为任务T_i在虚拟机vm_j上被调度执行后的执行时间；

根据上述定义，当一个工作流的任务被调度之后，工作流的执行时间就等于结束任务T_exit的完成时间，即：

工作流的任务处理代价Cost_exe(G)的计算方法如下：

其中，VM(T_i)表示任务T_i分配的虚拟机的序号，表示任务T_i在分配的虚拟机VM(T_i)上的处理代价，工作流的任务处理代价Cost_exe(G)即为构成工作流的各个任务的处理代价之和；的具体定义如下：

假定VM(T_i)＝j，则

其中，DS_i表示任务T_i的数据大小，PS_j表示虚拟机vm_j的处理能力，RC_j表示虚拟机vm_j的租赁费用；

工作流执行过程中各个任务间的数据传输代价Cost_tx(G)的计算方法如下：

其中VM(T_i)表示任务T_i分配的虚拟机的序号，VM(D_ij)表示数据D_ij所放置的虚拟机的序号，D_ij是任务间的数据传输矩阵D中的元素，表示任务T_i和任务T_j之间需要传输的数据的大小，单位为MB，数据传输矩阵D定义如下：

表示任务T_i所分配的虚拟机节点与数据D_ij所放置的虚拟机节点之间的数据链路的租赁价格，单位是$/MB；表示数据D_ij所放置的虚拟机节点与任务T_j所分配的虚拟机节点之间的数据链路的租赁价格；

步骤C3：根据更新策略，更新每个粒子的速度和位置，并计算更新后的粒子适应度值；其中，粒子位置的更新方法如下：

对于任务和虚拟机的分配问题，需要把粒子的位置转化为虚拟机节点的序号，因此在对粒子的位置进行更新时，采用取整的方法对粒子的位置进行离散值的转换：

其中，表示对实数x_ij向下取整；

步骤C4：判断是否满足最大迭代次数，是则输出全局最优粒子编码，结束迭代，否则返回步骤C2，继续迭代。