[发明专利]云平台MapReduce工作流调度优化方法

权利要求书

1.一种云平台MapReduce工作流调度优化方法，其特征在于，包括以下具体步骤： 

重构步骤(100)：将用户提交的至少包括一个作业的工作流W重构为一个新的工作流G，所述重构包括： 

工作流中的新作业节点组成集合V，以新作业为节点的有向无环图的节点之间的有向边组成集合E，所述新作业包括开始作业J_Entry、同步作业J_Syn、结束作业J_Exit以及分支作业J_Bran，所述开始作业J_Entry是指工作流W中没有任何父节点的作业，所述结束作业J_Exit是指工作流W中没有任何子节点的作业，所述同步作业J_Syn同时拥有父节点和子节点，并且具备父节点数量大于等于两个或者子节点数量大于等于两个的性质，所述分支作业J_Bran是指相互依赖的简单作业J_Sim的集合，所述相互依赖是指不同的简单作业J_Sim之间的有向边能够连通分支作业内所有的简单作业，所述简单作业J_Sim是指工作流W中只有一个父节点和一个子节点的作业； 

计算工作流G中所有作业的输入数据集的大小，并将所述输入数据集的大小组成向量S； 

优化步骤(200)：产生初始种群，所述初始种群是指通过对工作流G中的作业赋随机初值得到的个体的集合；通过产生新的个体的方式扩大初始种群内个体的数量得到下一代种群，所述新的个体是指由随机点交叉和/或随机点变异的方式所产生的新的个体；分别计算所述下一代种群中所有个体的工作时间，选取所述下一代种群中的至少一个个体作为优化结果输出。 

2.根据权利要求1所述的云平台MapReduce工作流调度优化方法，其特征在于，还包括历史数据取得步骤(300)； 

所述历史数据取得步骤(300)包括：任意选择一个用户提交的工作流W； 

以不同的作业配置参数以及集群虚拟机节点数目分别运行所述工作流W中的作业；将所述工作流W中的作业的运行结果进行保存。 

3.根据权利要求2所述的云平台MapReduce工作流调度优化方法，其特征在于，所述历史数据取得步骤(300)还包括：对运行于不同的作业配置参数以及集群虚拟机节点数目下的所述工作流W中的作业的运行结果进行拟合，得到拟合后曲线的参数。 

4.根据权利要求2所述的云平台MapReduce工作流调度优化方法，其特征在于，所述作业配置参数包括Mapper数量N_M、Reducer数量N_R、输入数据的大小S_Input以及集群虚拟机节点的数目N_Cluster，所述输入数据以分块的形式进行存储，所述N_M、N_R或N_Cluster不大于N_Block，所述N_Block是指所述输入数据的分块数目。 

5.根据权利要求4所述的云平台MapReduce工作流调度优化方法，其特征在于，所述输入数据以64MB每块的大小进行分块。 

6.根据权利要求1所述的云平台MapReduce工作流调度优化方法，其特征在于，所述初始种群或者下一代种群的染色体为 

{N_M1，N_R1，N_Cluster1，N_M2，N_R2，N_Cluster2，…，N_M(k+1)，N_R(k+1)，N_Cluster(k+1)}。 

7.根据权利要求6所述的云平台MapReduce工作流调度优化方法，其特征在于，所述染色体中每个元素包含两位数字。