[发明专利]基于元胞自动机和赋权有向超图的云计算任务调度方法

摘要

本发明涉及一种云计算环境下的基于元胞自动机和赋权有向超图的云计算任务调度方法，其采用赋权有向超图描述任务的资源需求及依赖关系，并生成相应的赋权有向超图文件；然后启动基于元胞自动机的赋权有向超图划分程序，对生成的赋权有向超图进行划分；最后依据赋权有向超图的划分结果构造任务子集，通过MapReduce任务调度模型对其进行映射和调度。采用本发明基于元胞自动机和赋权有向超图的云计算任务调度方法，不仅有效地提高了任务调度的效率，还显著地提高了任务划分的性能，具有较好的实用性。

主权项

一种基于元胞自动机和赋权有向超图的云计算任务调度方法，其特征在于，具体步骤如下：步骤1，类型类度分析，输入云计算环境下用户提交的任务，并对其进行类型和类度的分析，确定任务的并行化程度及特点；步骤2，进程粒度分解，根据用户任务的并行化程度及特点，以及云计算的资源共享分配方式等独特性质，对用户任务按照进程粒度级别进行分解；步骤3，资源特性分析，根据云计算的资源共享分配方式等独特性质，对分解后的任务进行资源特性分析；步骤4，赋权有向超图文件生成，依据对任务资源特性的分析结果，建立描述其资源需求及依赖关系的赋权有向超图模型，并按照改进压缩的文件存储格式保存为赋权有向超图文件；步骤5，赋权有向超图划分，启动基于元胞自动机的赋权有向超图划分程序，读取赋权有向超图文件，采用基于元胞自动机的内存压缩存储格式对赋权有向超图进行存储，对生成的赋权有向超图进行划分，将最终得到的划分结果存储在赋权有向超图划分文件中；步骤6，任务子集构造，在检测到基于元胞自动机的赋权有向超图划分程序完成划分之后，从赋权有向超图划分文件中读取相应的划分结果，依据赋权有向超图的划分结果构造进程级任务子集；步骤7，任务映射调度，通过MapReduce任务调度模型，对基于赋权有向超图优化划分构造的任务子集进行映射和调度，实现在云计算环境中的任务提交与执行，有效地均衡云计算平台的负载和缩短整个任务完成的时间跨度；上述的步骤4中，所述的赋权有向超图的改进压缩的文件存储格式如下：步骤4.1，文件格式的第1行第1个参数代表着赋权有向超边的数目m，第2个参数代表着赋权结点的数目x；步骤4.2，文件格式的第2行开始到第m+1行的每行代表着一条赋权有向超边的相关信息，第1个数值为赋权有向超边的权值信息，其余数值为赋权有向超边的结点信息，其中每行的最后一个数值代表赋权有向超边的尾端结点信息，且赋权有向超边的源端结点信息处于赋权有向超边的权值信息和尾端结点信息之间；步骤4.3，文件格式的第m+2行开始到第m+x+1行的每行代表着一个赋权结点的权值信息；上述的步骤5中，所述的基于元胞自动机的赋权有向超图划分程序的步骤如下：步骤5.1，读取赋权有向超图文件，采用基于元胞自动机的内存压缩存储格式对赋权有向超图进行存储；步骤5.2，元胞初始化，遍历每个元胞并随机给定元胞所处的状态1和n之间的整数，分别代表元胞对应结点所处的n个划分子集V1…Vn中间的某个划分子集，从而得到初始划分；步骤5.3，初始化二维辅助数组EDG[n][m]，依据初始划分，初始化二维辅助数组EDG[n][m]；步骤5.4，计算初始划分的割切值，依据二维辅助数组EDG[n][m]，快速计算当前划分的割切值；步骤5.5，循环初始化，初始化循环计数器COUNT为0；步骤5.6，遍历每个元胞是否结束，如果访问未结束，即存在当前元胞未被访问，则转步骤5.7；否则访问结束，转步骤5.13；步骤5.7，计算当前元胞的收益值，根据当前元胞的状态和邻接元胞的状态，快速计算当前元胞的收益值；步骤5.8，演化当前元胞状态，如果当前元胞的收益值大于零，当前元胞状态一定从当前状态from翻转到翻转状态to，否则当前元胞状态以设定的翻转概率从当前状态from翻转到翻转状态to；步骤5.9，如果当前元胞状态从当前状态from翻转到翻转状态to，则转步骤5.10，否则转步骤5.6；步骤5.10，更新二维辅助数组EDG[n][m]，遍历元胞的所有邻接超边e，执行EDG[from][e]减1操作，EDG[to][e]加1操作；步骤5.11，更新当前划分的割切值，依据二维辅助数组EDG[n][m]，快速计算当前划分的割切值；步骤5.12，更新已找到的最优划分，转步骤5.6；步骤5.13，循环判断，循环计数器COUNT加1，若满足COUNT达到设定演化次数的条件1或者全部元胞都不再改变自身状态的条件2时，执行步骤5.14，否则返回步骤5.6；步骤5.14，进入到平衡阶段，运行基于FM Early‑Exit方法的赋权有向超图划分程序：由于在基于元胞自动机的赋权有向超图划分过程中，可能违背赋权有向超图划分问题的平衡约束条件，因此在基于元胞自动机的赋权有向超图划分所求解的基础上，运行基于FM Early‑Exit方法的赋权有向超图划分方法，使划分解满足平衡约束条件，从而得到赋权有向超图划分问题的划分解；步骤5.15，将最终得到的赋权有向超图划分结果存储在赋权有向超图划分文件中；上述的步骤5.1中，所述的赋权有向超图的基于元胞自动机的内存压缩存储格式如下：步骤5.1.1，使用ID数组存储元胞对应于赋权有向超图中结点的编号信息，且ID数组的大小为赋权有向超图中的结点个数；步骤5.1.2，使用state数组存储元胞的状态信息，且state数组的大小为赋权有向超图中的结点个数；步骤5.1.3，使用vwgts数组存储元胞对应于赋权有向超图中结点的权值信息，且vwgts数组的大小为赋权有向超图中的结点个数；步骤5.1.4，使用xadj数组存储每个结点所有邻接赋权有向超边列表的起始位置信息，即第i个结点的终止位置为第i+1个结点的起始位置减1，且xadj数组的大小为赋权有向超图中的结点个数加1， xadj数组最后一个元素用于存放最后一个结点的终止位置；步骤5.1.5，使用adjncy数组存储每个结点所有邻接赋权有向超边的列表信息，第i个结点的邻接赋权有向超边列表存储在adjncy数组中，从adjncy[xadj[i]]到adjncy[xadj[i+1]‑1]；步骤5.1.6，使用eptr数组存储每条赋权有向超边所包含的结点列表的起始位置信息，即第j条赋权有向超边的终止位置为第j+1条赋权有向超边的起始位置减1，且eptr数组的大小为赋权有向超图中的赋权有向超边条数加1， eptr数组最后一个元素用于存放最后一条赋权有向超边的终止位置；步骤5.1.7，使用eind数组存储每条赋权有向超边所包含结点的列表信息，其中每条赋权有向超边的尾端结点只有1个，且每条赋权有向超边尾端结点的所有直接前驱结点都包含在该赋权有向超边的源端子集中；第j条赋权有向超边的结点列表存储在eind数组中，从eind[eptr[j]]到eind[eptr[j+1]‑1]，其中第j条赋权有向超边的源端结点为eind[eptr[j]]到eind[eptr[j+1]‑2]，第j条赋权有向超边的尾端结点为eind[eptr[j+1]‑1]；步骤5.1.8，使用hewgts数组存储赋权有向超边的权值信息，且hewgts数组的大小为赋权有向超图中的赋权有向超边条数；上述的步骤5.3中，所述的初始化二维辅助数组EDG[n][m]的步骤如下：步骤5.3.1，二维辅助数组EDG[n][m]清零；步骤5.3.2，读取eptr数组和eind数组存储的每条赋权有向超边所包含的结点信息，基于初始划分计算每条赋权有向超边在n个划分子集V1…Vn的结点个数，即二维辅助数组EDG[n][m]的n行分别存放m条赋权有向超边在n个划分子集的结点个数；上述的步骤5.4和步骤5.11中，所述的快速计算当前划分的割切值的步骤如下：步骤5.4.1，划分割切值清零；步骤5.4.2，遍历每条赋权有向超边是否结束，如果访问未结束，即存在赋权有向超边e未被访问，则转步骤5.4.3；否则访问结束，返回划分割切值；步骤5.4.3，如果满足EDG[i][e] ≥1的条件1和EDG[j][e]≥1的条件2时，意味着赋权有向超边e在划分子集Vi和Vj的结点个数都大于等于1，即可判定赋权有向超边e是两栖边，并将划分割切值累加上当前赋权有向超边的权值；否则判定赋权有向超边e不是两栖边，划分割切值不变；步骤5.4.4，转步骤5.4.2；上述的步骤5.7中，所述的快速计算当前元胞收益值的步骤如下：步骤5.7.1，元胞收益值清零；步骤5.7.2，读取元胞的当前状态from和翻转状态to；步骤5.7.3，遍历元胞的所有邻接赋权有向超边e，若二维数组EDG[from][e]值为1，则将收益值加上赋权有向超边e的权值；若二维数组EDG[to][e]值为0，则将收益值减去赋权有向超边e的权值；步骤5.7.4，返回元胞收益值。