[发明专利]多云环境下带截止日期约束工作流的基于代价驱动调度方法

说明书

本发明涉及并行和分布式高性能计算领域中一种多云环境下带截止日期约束工作流的基于代价驱动调度方法。该方法根据工作流自身结构特点，迭代合并存在‘有向割边’的相邻子任务，减少算法执行时间并初步降低数据传输成本；设计一种工作流局部关键路径查找策略，以保证满足工作流截止日期约束和服务质量需求；基于局部关键路径查找并整体调度‘关键’路径，进一步压缩数据传输时间和执行代价；根据多云环境特点，设计一种‘关键’路径到执行实例之间的映射方案，保证满足任务服务质量同时降低执行代价。该调度方法能够在满足现有真实工作流截止日期约束前提下，有效提高方法本身的执行效率，并大幅度减少工作流在多云环境下的执行代价。

技术领域

本发明属于并行和分布式高性能计算领域的工作流调度方法，具体涉及一种多云环境下带截止日期约束工作流基于代价驱动和局部关键路径特征的调度方法。

背景技术

近年来随着云计算技术的普及，当前云市场上出现了许多不同的云服务提供商，如GoGrid,Amazon EC2和Rackspace。根据具体服务提供内容的差异，服务类型可分为：基础设施即服务(Infrastructure as a Service,IaaS)，软件即服务(Software as aService,SaaS)和平台即服务(Platform as a Service,PaaS)。终端用户通过与服务提供商之间订立的服务等级协议(Service Level Agreements,SLAs)来保证自身应用的服务质量，并以按需付费的方式支付相应的执行费用。云计算强大的并行计算能力，使许多科研工作者着手研究大规模科学工作流在云计算环境中的优化调度问题，云平台中工作流调度效果的优劣直接影响到整个系统的作业性能。任务调度本身就是一个NP完全问题，由于不同服务提供商之间存在许多差异(如实例类型，要价机制，传输带宽等)，所以终端用户需要一种良好的调度策略来保证其工作流约束前提下，尽可能降低用户代价，这是一个带约束的单目标优化问题。虽然许多相关研究工作已在传统分布式环境中展开，但涉及云环境的工作流调度研究工作却相对较少，特别是在IaaS多云环境中处理带截止日期约束的复杂工作流调度问题。

工作流调度是一个传统的优化问题，它是在满足某些给定的约束前提下，将工作流中的每个任务按序分配到对应资源中，从而获得最佳的预期结果。早期的研究工作主要基于较为传统的多机处理时代，现有研究工作大多是针对共享社区环境(如社区网格)的工作流调度问题而展开。无论是多机处理时代，还是社区网格环境，涉及工作流的研究工作主要是考虑最小化工作流执行时间或满足用户服务质量需求，并未涉及工作流执行代价的研究。

传统分布式环境的工作流调度科研成果为云环境下工作流研究提供一定的借鉴作用。然而，它们并非完全适用于按区间要价并以利益为驱动的云计算环境。现有云环境下的研究工作主要是基于代价优化目标而展开。然而许多研究工作仅仅在多云环境下追求代价最优，而忽略其他约束条件，如截止日期；或者仅在单云环境下考虑带约束条件的工作流代价优化调度，并未涉及不同带宽的多云环境对工作流执行代价影响；或者忽略任务间的复杂依赖关系而仅考虑多云环境下批任务调度问题；或者在追求工作流代价最优过程中，没有考虑云环境按需付费，按区间要价的基本性质。因此，多云环境下，带截止日期约束的大规模工作流执行代价的优化调度问题仍未得到妥善解决。

发明内容

本发明的目的是提供一种在多云环境下基于工作流自身结构和执行特性，以及当前云资源环境等相关因素考虑的工作流调度方法，该方法基于局部关键路径思想，压缩数据传输路径和任务间的数据传输时间，有效整合虚拟化资源，在满足工作流截止日期约束的前提下，优化资源利用率，有效提高方法本身的执行效率，并大幅度减少工作流在多云环境下的执行代价。