[发明专利]一种多目标任务调度方法及系统

说明书

本公开公开了一种多目标任务调度方法及系统，包括：以最大完工时间以及映射阶段和归约阶段所有slots的总能耗最小化为目标，构建两阶段混合流水车间调度模型；采用改进的多目标入侵杂草优化算法求解两阶段混合流水车间调度模型，得到调度优化方案；利用得到的调度优化方案对异构分布式平台的任务进程进行调度。一种多目标IWO算法解决MapReduce系统中任务分配问题，同时考虑最大完成时间和所有slots的能耗最小化的目标函数，在p‑最优性准则的基础上，嵌入一种繁殖启发式算法确定每种杂草在世代中的后代数，提高搜索质量和算法的多样性。

技术领域

本公开涉及多目标任务调度技术领域，特别是涉及一种多目标任务调度方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

近年来，互联网服务和分布式计算平台，如集群、网格和云的快速应用极大地提高了数据的处理效率。在云系统中，MapReduce平台已经成为并行大数据处理能力的领先范例。它的开源实现Apache Hadoop已被用于分布式大数据处理和分析。随着MapReduce平台的日益使用，如何提高MapReduce集群的性能成为关键问题。

在Hadoop中，有两个主要组件，即分布式文件系统，称为Hadoop分布式文件系统(HDFS)和MapReduce引擎。HDFS一般包含两种类型的节点，即一个名为master的姓名节点和几个名为从节点的数据节点，用于调度每个映射和归约任务的JobTracker在主节点上运行，运行TaskTracker的从节点负责处理每个映射和归约任务。映射任务在一个数据域中接受一个类型的输入对数据，并在另一个域中生成一个对的列表：map(k1,v1)-list(k2,v2)，将与相同密钥相关联的生成的值分组在一起，然后传递到归约任务。归约任务使用相同密钥的数据组，并对其进行处理，以在同一域中形成新的值列表。“slot”的概念通常分为映射间slot和归约slot，用于指示每个节点上的容纳任务的容量，在任何给定时间，每个slot只能运行一个任务，反之亦然。在MapReduce平台中，通常有五个阶段，即准备(输入所需的数据)、映射(过滤和排序数据)、混洗(重新分配映射的数据)、归约(处理每个组重新分配的数据)，和输出(收集所有的归约输出)。

然而，能源消耗已成为绿云系统发展的关键问题，因为一个数据中心所消耗的能源大约有55％是由计算系统消耗的，其余部分由冷却、不间断电源等支撑系统消耗。显然，简单地提高执行速度的性能通常会消耗更高的能量消耗。因此，在能源消耗和执行时间或制造时间之间有一个权衡。

任务分配问题一般分为静态任务分配和动态任务分配两类。静态任务分配也称为确定性任务分配，它预先定义了并行应用程序的结构、每个任务的执行时间、传输成本和数据。规范IWO算法是一种新开发的基于人口的优化算法，其灵感来源于2006年Mehrabian和Lucus的杂草定殖和开发。自2006年成立以来，IWO一直被研究和应用于解决许多连续和离散优化问题。IWO的主要特征是它可以提供更高的机会来产生更多的后代，因此可以提高搜索能力和多样性。近年来，许多多目标启发式算法被应用于不同的优化问题，然而目前没有文献考虑使用IWO来解决多目标任务分配问题，没有解决映射和归约中slots的任务调度问题。

发明内容

为了解决上述问题，本公开提出了一种多目标任务调度方法及系统，提出一种新的多目标IWO算法解决MapReduce系统中任务分配问题，同时考虑最大完成时间和所有slots的能耗最小化的目标函数，在p-最优性准则的基础上，嵌入一种繁殖启发式算法确定每种杂草在世代中的后代数，明显地提高了搜索质量以及算法的多样性；基于一种修复机制，使每一种解决方案可行；每一代存储和应用新生成的杂草，并应用非支配排序算法来更新帕累托存档集以此降低计算复杂度。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种多目标任务调度方法，包括：