[发明专利]基于资源匹配度的Mesos资源调度方法

说明书

一种基于资源匹配度的Mesos资源调度方法，通过计算物理机资源占用与应用框架资源需求的匹配度，并根据匹配度进行应用框架资源需求响应以及资源分配，最后根据分配发送资源需求信息和资源接收逻辑。本发明在资源平均利用率方面最高能取得约4％的提升；能使分配失败次数减少最高19％；在资源利用率差距方面，取得至多约6％的减少；在闲置能耗方面，能将闲置能耗降低约23％。本发明所提出的基于资源匹配度的资源调度方式，通过合理的资源调度，能有效减少资源碎片，提升集群的资源利用率。所提出的中心化调度策略，能通过减少闲置能耗，进一步地提升集群的能耗效率。

技术领域

本发明涉及的是一种分布式系统资源配置领域的技术，具体是一种基于资源匹配度的Mesos(开源群集管理系统https://mesos.apache.org/)资源调度方法。

背景技术

集群管理系统是现今数据中心重要的组成部分，其中，资源调度技术是集群管理系统重要的技术之一，Apache Mesos是一款有着广泛应用场景的集群管理系统。Mesos采用两级资源调度架构，在资源调度策略上采用分层DRF(Dominant Resource Fairness)调度以管理多种类型的应用程序，其中第一级调度是主守护进程(Master)，管理Mesos集群中所有节点上运行的从守护进程(Slave)。集群由物理服务器或虚拟服务器组成，用于运行应用程序的任务，第二级调度由应用框架(Framework)组成，每个Framework包括调度器(Scheduler)和执行器(Executor)进程，其中每个节点上都会运行执行器。集群资源利用率和能耗效率是评估集群管理系统的重要指标，然而Mesos在集群资源利用率和能耗效率上依旧难以满足现有工业需求。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于资源匹配度的Mesos资源调度方法，在资源平均利用率方面最高能取得约4％的提升；能使分配失败次数减少最高19％；在资源利用率差距方面，取得至多约6％的减少；在闲置能耗方面，能将闲置能耗降低约23％。本发明所提出的基于资源匹配度的资源调度方式，通过合理的资源调度，能有效减少资源碎片，提升集群的资源利用率。所提出的中心化调度策略，能通过减少闲置能耗，进一步地提升集群的能耗效率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于资源匹配度的Mesos资源调度方法，通过计算物理机资源占用与应用框架资源需求的匹配度，并根据匹配度进行应用框架资源需求响应以及资源分配，最后根据分配发送资源需求信息和资源接收逻辑。

所述的物理机资源占用与应用框架资源需求的匹配度，具体通过以下方式得到：

步骤1)对于该物理机和该应用框架进行预分配，在物理机当前资源占用量的基础上，加上该应用框架的资源需求量，进而得到该物理机预分配后各个资源的利用率以及资源整体利用率，并计算得到资源整体平均利用率其中：资源有r种，则各个资源利用率用res_usage_k表示k＝1,2,…,r。

步骤2)计算资源利用率差距以表示各资源利用率与资源整体利用率的差距，包括：

①欧氏距离，用于计算各资源利用率与整体平均资源利用率之间的欧氏距离或

②切比雪夫距离，用于计算个资源利用率与整体平均资源利用率之间的最大距离usage_distance＝MAX(|res_usage_k-avg_usage|)k＝1,2,…,r。

步骤3)引入该物理机预分配前的原资源整体平均利用率作为可选的额外变量，具体为：资源匹配度其中：系数α∈(0,1)用于调整原资源整体平均利用率和预分配后资源利用率差距在公式中的重要性，系数β∈{-1,1}，用于调整算法使用原资源整体平均利用率的策略，选择β＝1，则调度模块将采用集中化(Centralize)分配；选择β＝-1，则调度模块将采用分散化(Decentralize)分配。