[发明专利]一种虚拟化容器资源下的多工作流资源供给方法

说明书

本发明公开一种虚拟化容器资源下的多工作流资源供给方法，利用强化学习对工作流进行调度、进行供给资源，定义资源效用指标U，建立了每个资源调度时刻容器簇内运行的任务和虚拟化容器资源之间的供求关系，奖赏函数的设计符合以容器簇为粒度的多工作流资源生成的要求：既要保证容器簇内容器单元的数量和类型符合云工作流的运行流程，又要避免不同QoS需求的工作流违反服务级别协定，提高整个容器簇资源利用率。可实时获取各容器簇内任务的状态信息，将工作流任务分配和虚拟化资源供给相互协同。

技术领域

本发明涉及云计算领域，具体涉及一种虚拟化容器资源下的多工作流资源供给方法。

背景技术

在瞬时万变的云计算环境下进行工作流任务和虚拟化资源协同自适应调度是非常困难的。例如Amazon、IBM、微软、Yahoo的数据中心均拥有几十万台服务器，Google拥有的服务器数量甚至超过了100万台，各种物理资源虚拟化后数目更加庞大，物理节点和虚拟化单元宕机、动态加入和撤销等时有发生，管理起来技术难度大、复杂性高。又如，以多层Web服务工作流为例，由于突发事件引起的负载变化规律常常是无法预测的。

从任务优化分配角度来说，各种类型的云工作流任务在多个处理单元上的调度已被证明是NP完全难题。从资源优化供给角度来说，虚拟单元放置一方面需考虑能源消耗，即减少激活物理机和使用网络设备的数量，此时虚拟化单元放置可抽象为装箱问题，这是一个NP完全难题；另一方面需考虑数据在虚拟单元之间的传输，即减少对网络带宽的使用，此时虚拟单元放置可抽象为二次分配问题，这同样是一个NP完全难题。现有的云工作流调度或侧重于固定虚拟化资源下的工作流任务分配，或侧重于工作流负载变化下的弹性资源供给，或侧重于如何将现有的工作流管理系统融入云平台之中，无法将工作流任务分配和虚拟化资源供给相互协同。

发明内容

本发明的目的是解决现有技术的缺陷，提供一种能够将工作流任务分配和虚拟化资源供给相互协同的工作流资源供给方法，采用的技术方案如下：

一种虚拟化容器资源下的多工作流资源供给方法，采用基于强化学习的容器资源生成策略，包括以下步骤：

定义状态空间：用五元组S＝(WR,RA,AW,IM,PJ)表示状态空间，其中WR为待调度工作流任务的工作量，RA为资源可用时间，AW为等待队列中工作流任务的总工作量，IM为空闲容器资源数，PJ为队列中各用户提交工作流任务的比例；

定义动作空间：动作空间包括待分配工作流任务以及请求的资源数两个动作；

设定奖赏函数R_e＝λ_eW+(1-λ_e)U，其中λ_e∈[0,1]为控制系数；W为任务响应率：execution time为工作流任务执行时间，waitngtime为工作流任务等待时间，U为资源效用指标：[T_k,...,T_k+1]表示资源供给决策时刻，P_k表示[T_k,...,T_k+1]时刻容器簇内可用容器资源，f_n表示T_N时刻工作流任务执行时间总和；

设定奖赏函数上限值R_u、下限值R_l、保持范围R_m～R_n；

从动作空间中选择待执行工作流任务，执行选择的任务，检测获取奖赏函数R_ε；

若奖赏函数R_ε大于R_u，则在该任务后续的执行过程中，增加云平台中的虚拟化容器资源，若奖赏函数R_ε小于R_u，则在该任务后续的执行过程中，减少云平台的虚拟化容器资源，若奖赏函数R_ε在R_m～R_n范围内，则使云平台中的虚拟化容器资源保持不变。