[发明专利]一种云环境下截止期约束的科学工作流调度方法

说明书

本发明公开了一种云环境下截止期约束的科学工作流调度方法，将任务集合T中的任务按照拓扑结构进行排序得到T′；为T′中的任务计算向上排序值；根据所述的向上排序值为中每个任务分配子截止期；将T′中任务根据子截止期的紧急情况进行排序；根据所述的排序先后次序为任务分配虚拟机；对初始调度方案进行虚拟机升/降级优化。本发明方法实现了云环境下的截止期约束下费用最小化的科学工作流调度，一方面通过虚拟机类型改变、任务回填等策略对虚拟机的占用率进行优化，提高了虚拟机使用率，另一方面通过截止期约束下的费用开销优化，为整个调度方案节省费用开销。

技术领域

本发明属于网络工作流调度领域，具体涉及一种云环境下截止期约束的科学工作流调度方法。

背景技术

近年来，IaaS(基础设施即服务)云计算平台在为松散耦合的科学应用构建灵活，高效和低成本的执行环境方面显示出巨大潜力。一方面，当IaaS云通过虚拟机(VM)提供资源时，科学家可以根据特定于应用程序的要求定制执行环境。另一方面，与传统的批处理系统(如高性能集群)相比，科学家可以按需租赁和发布各种类型的云资源。通过这种方式，科学家们无需部署和维护自己的基础设施。此外，云计算的即付即用计费模式允许科学家使用信用卡访问无限资源，这大大降低了高性能科学计算的门槛。由于上述优点，越来越多的科学家被吸引来将科学工作流从本地集群迁移到IaaS云。

科学工作流可以表示为有向无环图DAG，而DAG类型的并行应用作为传统分布式集群环境下的一类典型应用，其调度问题受到了学术界的广泛研究。随着云数据中心逐渐成为科学计算的重要基础设施，云环境下的截止期约束费用优化成为当前科学计算、并行与分布式系统等领域的研究热点，许多有价值的调度算法也相继被提出来。科学工作流调度作为NP难问题，截止期划分仍存在一定的改进空间，并且如何对全局调度方案进行调整以降低工作流调度费用仍值得研究。目前IaaS云计算新型环境下高效执行科学工作流还面临着资源利用率较低，以及任务调度效率不高等问题。

发明内容

有鉴于此，本发明的目的在于提出一种云环境下截止期约束的科学工作流调度方法，用于提高科学工作流的资源利用率和任务调度效率。

基于上述目的，本发明提供的一种云环境下截止期约束的科学工作流调度方法，包括以下步骤：

步骤1，将任务集合T中的任务按照拓扑结构进行排序得到T′；

步骤2，为T′中的任务计算向上排序值；

步骤3，根据所述的向上排序值为中每个任务分配子截止期；

步骤4，将T′中任务根据子截止期的紧急情况进行排序；

步骤5，根据所述的排序先后次序为任务分配虚拟机。

进一步地，步骤5中分配虚拟机包括以下步骤：

步骤501，若存在满足任务t_i子截止期的虚拟机集合{VM}，则将任务t_i分配到开销最小的虚拟机VM_k；

步骤502，若不存在满足t_i子截止期的虚拟机，则选择最快的虚拟机VM_fast执行，并将超出截止期的时间σ算入后继任务；

由此，获得工作流初始调度方案S′和租用虚拟机集合R。

进一步地，所述的科学工作流调度方法还包括步骤6，对所述的初始调度方案S′进行优化，所述的优化包括虚拟机升级优化和虚拟机降级优化。

具体地，所述的虚拟机升级优化包括以下步骤：

步骤601，对每个虚拟机VM_k∈R，将该虚拟机升级为VM_k′，并重新计算该虚拟机上任务的执行时间，节约的时间开销记为gain_k；