[发明专利]一种云计算环境下的服务及资源分层调度方法

说明书

技术领域

本发明属于计算机网络应用与系统结构技术领域，特别是涉及一种云计算环境下的服务及资源分层调度方法。

背景技术

云计算改变了传统使用基础设施的方式。其中，有效的资源管理和服务调度可以解决资源过度消耗或利用不足的问题，提高用户满意度。由于用户需求和服务属性的多样性，在云环境中针对不同应用程序和服务模式的调度算法的研究，以及在云环境中执行服务组合，对用户请求实现定制化是非常重要的。在云计算环境中实现服务组合，重要的是服务调度和资源分配并在此基础上满足QoS要求。服务组合是通过组合和连接云计算环境中已有的服务以创建新的服务的过程。服务的调度要符合云计算动态性，分布式和可共享的特点。资源的分配是为了能够让工作流中的所有服务都达到各自的性能指标。此外，在云计算平台中，基于QoS的资源分配机制可以对用户请求进行差异化的调度。

云计算服务提供三层架构。整个云架构包括资源提供者，服务提供者和用户三部分。服务提供者租借资源并创建虚拟机实例为用户提供服务；资源提供者负责将虚拟机调度到相应的物理机上；用户提交申请单个服务或服务组合。服务提供者的服务随着时间或成本等因素而发生变化。

云计算向着数据密集型和计算密集型发展的特点，很多应用都是基于Map/Reduce模型以提高性能。Map/Reduce是Google提出的分布式并行计算编程模型，用于大规模数据的并行处理。Map/Reduce模型受函数式编程语言的启发，将大规模数据处理作业拆分成若干个可独立运行的Map任务，分配到不同的机器上去执行，生成某种格式的中间文件，再由若干个Reduce任务合并这些中间文件获得最后的输出文件。

此前在Map/Reduce模型中对服务调度算法的研究包括：FIFO调度算法会长期占用系统资源，其他作业提交之后由于迟迟得不到系统资源而不能及时处理，从而影响了系统的交互能力和用户的使用体验；公平份额调度算法和计算能力调度算法要进行预先的配置，因此配置的适当与否决定着系统的性能，配置合适时系统有着较好的响应性能，但如果没有配置好，则与配置好时的系统性能有着较大的差距。

发明内容

为了解决上述问题，本发明的目的在于提供一种云计算环境下的服务及资源分层调度方法。

为了达到上述目的，本发明提供的云计算环境下的服务及资源分层调度方法包括按顺序进行的下列步骤：

1）提交用户请求的S01阶段：用户提交请求给服务提供者，包括单个服务或服务组合；

2）划分任务单元的S02阶段：服务提供者接收用户请求，划分为更小单元的任务，任务单元在得到优先级后进行调度；

3）定义计算模型的S03阶段：从服务级定义负责服务执行的计算资源模型,计算资源模型分为服务层和虚拟层；

4）定义存储模型的S04阶段：从任务级定义负责数据的存储资源模型,分为服务层和数据访问层；

5）定义服务解析过程的S05阶段：定义服务解析过程，将用户所请求的服务根据定义的调度模型分解成服务组合模式，对服务组合模式中的服务文件进行解析，包括计算服务执行时间，服务权重和数据传输权重，并根据计算结果和服务路径对服务进行排名；

6）服务调度过程的S06阶段：预定义三个资源池，资源池根据Map/Consumption比衡量和比较Map/Reduce服务，将排名后的服务分解成任务，计算任务完成率是否大于资源池中任务槽定义的阈值，将大于阈值的任务根据服务所需的资源分解进入三个资源池中，不同资源池中的服务对应不同的资源分配方法，任务在资源池中的分布式任务槽中执行，这是服务调度过程；

7）资源调度过程的S07阶段：资源池中有可用任务槽时对任务进行调度部署，预定义三种资源池的分配方法，当Map/Reduce中的TaskTracker有可用任务槽时，根据数据局部性原理从资源池中选合适的任务执行，若排名前三任务数据局部性符合，将排名最高的任务分配进入任务槽中，若不符合，继续等待；最后完成服务调度与资源调度的整体过程；

8）对调度进行评估的S08阶段：从服务总完成时间、资源利用率方面对调度进行评估。

在S03阶段中，所述的计算资源模型定义了三种任务类型：TM-Map任务，TR-Reduce任务和非Map-Reduce任务。

在S03阶段中，计算资源模型中定义的数据块是可复制的。

所述的步骤6）中依据Map/Consumption比设置三个数据访问级别：Map数据输入，Map-Reduce中间数据，Reduce数据输出。