[发明专利]一种云际计算环境中跨集群资源高可用调度方法及系统

说明书

本发明公开了一种云际计算环境中跨集群资源高可用调度方法及系统，本发明包括确定待分配任务T_j的P个子任务的资源需求，对应的P个目标成员集群的初始及已分配资源；预测当前时刻起的下一个单位时间内所到达任务的总体资源使用峰值；生成多种子任务分配方案并进行遍历：根据各个目标成员集群的初始、已分配资源以及当前时刻起的下一个单位时间内所到达任务的总体资源使用峰值计算集群资源高可用评价函数值，计算所有的可行的子任务分配方案的合作博弈得分；根据得分最高的合作博弈得分对应的子任务分配方案进行任务划分。本发明能够根据多集群现有资源情况，在为应用合理划分任务分配符合要求的资源的同时，提高资源利用率，减少资源碎片。

技术领域

本发明涉及多集群任务分发调度技术，具体涉及一种云际计算环境中跨集群资源高可用调度方法及系统。

背景技术

随着云计算的发展，越来越多的企业与公司开始使用多云发展策略。通过多云跨集群任务部署，在弥补了单一集群管理规模有限的缺点上，还具有高可用调度低延迟、资源弹性伸缩、避免厂商锁定等诸多优点。但是与此同时，它也带来了诸多新的问题，例如企业资源分布在多地区多数据中心，统一管理的难度较大。因此，构建与实现跨集群的统一管理成为一个亟待解决的问题。同时，跨集群的任务调度作为多集群系统的核心面临着诸多挑战。

云际环境中，生产集群运行两类工作负载，包括在线云服务的长期运行应用程序(Long Running Applications，LRAs)和用于离线数据分析的批处理任务(Batch Jobs，BJs)。与批处理任务相比，LRAs运行时间较长，持续几个小时或者几个月不等，并且需要保证其在生命周期内可稳定运行，不允许抢占或迁移。据调研，微软公司为保证LRAs的稳定运行，将许多大型集群完全专用于LRAs工作负载。目前典型的多集群管理项目对于LRAs任务调度的资源分配方式分为三种方式：聚合策略、静态权重策略和动态权重策略。聚合策略优先将任务划分到资源剩余可用量可容纳任务数量大的成员集群上，尽可能减少任务分布集群；静态权重策略是根据用户设定的集群权重进行任务分配；动态权重策略则是以用户对业务资源需求的主观判断为基础，根据各集群资源当前可容纳的最大任务数作为动态权重将任务分配到相应成员集群。目前的动态权重策略，相比于用户根据经验静态分配任务，已经初步达到了根据剩余可用资源进行动态负载均衡的目的，但是其未考虑到用户实际使用资源情况与申请资源值之间的动态差异性以及各不同利益主体下的集群资源配比的天然差异性，可能出现资源放置不合理，资源无法有效利用。根据申请量保守分配资源虽然在极大程度上保护LRAs负载的服务质量，但是实际运行中集群不同类型资源的剩余可用量与待分配的任务资源需求不匹配，导致资源碎片及多集群整体的成本损耗。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种云际计算环境中跨集群资源高可用调度方法及系统，本发明旨在根据多集群现有的资源情况，在为应用合理划分任务分配符合要求的资源的同时，提高资源利用率，减少资源碎片。

为了解决上述技术问题，本发明采用的技术方案为：

一种云际计算环境中跨集群资源高可用调度方法，包括：

1)确定待分配任务T_j的P个子任务的资源需求，确定待分配任务T_j对应的P个目标成员集群及其资源总量以及已分配资源；根据所有目标成员集群当前时刻往前多个单位时间内新任务的资源使用峰值，预测得到当前时刻起的下一个单位时间内所到达任务的总体资源使用峰值；

2)生成多种子任务分配方案，确定每个子任务所执行的基本任务单位数；

3)针对每一种子任务分配方案：根据各个目标成员集群的资源总量、已分配资源以及当前时刻起的下一个单位时间内所到达任务的总体资源使用峰值计算该目标成员集群的集群资源高可用评价函数值并根据所有目标成员集群的集群资源高可用评价函数值计算所有的可行的子任务分配方案的合作博弈得分H(i)；