[发明专利]一种分布式系统任务分配的方法和装置

说明书

本申请涉及分布式系统领域，尤其涉及分布式系统中的资源调度技术。在一种任务分配的方法中，获取用户的已分配资源的份额，从待分配任务列表中选择一个待分配任务，并基于最高阈值，将待分配任务分配到剩余资源能够满足所述待分配任务的第一计算节点，且所述待分配任务分配到所述第一计算节点后，所述第一计算节点中存在至少一种被监测资源的剩余量大于或等于与所述一种被监测资源相对应的最高阈值的计算节点中。通过本申请提供的方案，可以减少分布式系统中资源碎片的产生，提高分布式系统的资源利用率。

技术领域

本申请涉及分布式系统领域，尤其涉及分布式系统中的资源调度技术。

背景技术

在各种分布式计算框架(如hadoop、spark等)以及分布式资源统一管理与调度平台(如mesos和yarn)中，细粒度、多维度的资源调度是分布式计算框架和分布式资源统一管理与调度平台的一个核心问题。而在资源调度时，如何实现资源的公平分配和资源利用率的提高是一个关键问题，也是当前分布式资源管理与调度技术领域中的热门话题。

目前一些主流的分布式资源管理与调度框架如Mesos、Yarn等都采用了DRF(Dominant Resource Fairness，主导资源公平)算法。该算法的主要思想是在多维度资源环境下，一个用户的资源分配应该由用户的dominant share(主导份额)决定，dominantshare是在所有已经分配给用户的多种资源中，占据总资源的最大值，该值对应的资源为主导资源。DRF算法的主旨是试图最大化所有用户中最小的dominant share，或者尽可能使不同用户的主导资源相等。

DRF算法虽然保证了用户资源公平性，但对任务的分配存在资源碎片问题。即通过DRF算法进行资源调度后，可能出现每个节点的剩余资源都不足以满足某一任务的资源需求，但是从分布式系统整体来看，各个节点上该种剩余资源的总和却又大于该任务的资源需求，从而造成了资源碎片。资源碎片问题会导致资源利用率降低，并且由于资源碎片不能被应用，导致一些任务执行延迟，时间性能降低。

发明内容

本文描述了一种分布式系统任务分配方法，装置及系统，以减少分布式系统中的资源碎片，提高系统资源利用率和任务执行效率。

一方面，本申请的实施例提供一种基于DRF算法的分布式系统任务分配的方法。方法包括当基于DRF算法进行分配时，若要分配的计算节点在分配了待分配任务后的一种被监测资源的剩余量小于与所述一种被监测资源相对应的最高阈值，则不将该待分配任务分配到该计算节点中。由此，分后待分配任务后的计算节点仍然有一定的剩余量用以执行其他任务，从而降低了资源碎片的产生。

被检测资源是指在分布式系统中的各类资源中，需要对碎片的产生进行监控的资源。在具体的实施例中，被监测资源可以通过人工进行预设或者指定，在另一些具体的实施例中，也可以通过管理系统动态的确定和调整被监控资源。例如，通过对资源碎片产生的监控，将产生资源碎片多的资源作为别监控资源。

在一种实现方式中，方法包括获取用户的已分配的资源的份额，份额是指用户的已分配的一种资源占资源与分布式系统中的可分配总量的比值，用户的已分配的资源中份额最高的资源为用户的主导资源，主导资源对应的份额为用户的主导份额；从待分配任务列表中选择一个待分配任务，待分配任务为在多个用户中主导份额最低的用户的任务；若所述多个计算节点中存在第一计算节点，将所述待分配任务分配给第一计算节点，其中，所述第一计算节点为剩余资源量能够满足所述待分配任务对资源的需求量的计算节点，且所述待分配任务分配到所述第一计算节点后，所述第一计算节点中存在至少一种被监测资源，所述一种被监测资源的剩余量大于或等于与该被监测资源对应的最高阈值。通过本方法，可以在保证用户资源均衡的前提下，实现前述降低资源碎片的目的，提高资源利用率。