[发明专利]基于资源统一调度的分布式资源调度方法

说明书

技术领域

本发明涉及分布式运算框架技术领域，特别涉及一种基于资源统一调度的分布式资源调度方法。

背景技术

不同的分布式运算框架(Spark,Hadoop,ES,MPI,Cassandra等)中的不同任务往往需要的资源(内存，CPU，网络IO等)不同，它们运行在同一个集群中，会相互干扰，任务之间由资源争用导致效率下降，运维成本升高。

发明内容

本发明的目的在于提供一种统一资源调度的分布式资源调度的方法，用于解决避免任务之间由资源争用导致效率下降的问题。

本发明一种统一资源调度的分布式资源调度的方法，其中，包括：确定可用资源的内容；将收集到的可用资源封装成可用资源列表；确定各分布式计算框架的优先级；按照分布式计算框架的优先级的由高到低顺序，由分布式计算框架选择可用资源列表中的资源，每个分布式计算框架选择完毕后，更新可用资源列表，直至所有的分布式计算框架都选择完毕或可用资源列表中没有可用资源；从确定可用资源的内容重新开始本方法。

根据本发明的统一资源调度的分布式资源调度的方法的一实施例，其中，可用资源包括资源调度从节点的可用CPU和可用内存。

根据本发明的统一资源调度的分布式资源调度的方法的一实施例，其中，资源列表包括：可用的资源调度从节点集合，每个资源调度从节点集合包括：资源调度从节点的编号，可用CPU和可用内存信息。

根据本发明的统一资源调度的分布式资源调度的方法的一实施例，其中，每个分布式计算框架选择完毕后，更新可用资源列表，并将更新后的可用资源列表发送给次一优先级的分布式计算框架。

根据本发明的统一资源调度的分布式资源调度的方法的一实施例，其中，分布式计算框架按照其内部的计算需求，根据可用资源列表中的资源信息，选择所需的可用资源。

本发明的统一资源调度的分布式资源调度的方法，提供一种资源调度机制避免任务之间由资源争用导致效率下降，同时考虑到资源利用率，运维成本，数据共享等因素，一般希望将所有这些框架部署到一个公共的集群中，让它们共享集群的资源，并对资源进行统一使用。

附图说明

图1所示为本发明基于统一资源调度的分布式资源调度系统的模块图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

图1所示为本发明基于统一资源调度的分布式资源调度系统的模块图，如图1所示，包括：资源调度主节点M、资源调度从节点S1、资源调度从节点S2、分布式计算框架f1、分布式计算框架f2。

如图1所示，资源调度主节点M负责集群整体资源的统计、资源的一级调度和具体执行任务的下发。包括以下三个组件：资源统计器：负责接收集群中资源调度从节点上报的可用资源信息；一级调度器：将汇总的资源信息发送给已注册的分布式计算框架；任务下发器：负责将分布式计算任务下发至资源调度从节点进行执行。

如图1所示，资源调度从节点S1和S2，用于汇报本节点上的可用资源给资源调度主节点，并负责执行具体的任务。包括以下三个组件：资源收集器：监控当前节点上可用的资源；任务监控器：负责接收启动资源调度主节点发送的任务，创建资源隔离容器执行任务；资源隔离容器：负责根据指定的资源独立运行的，相互间进程隔离的轻量级虚拟机。

如图1所示，分布式计算框架f2负责具体资源的二级调度和任务分解，需要注册到资源调度主节点上。包括以下三个主要组件：注册器：向资源调度主节点注册，申请监控集群资源；任务：在资源调度从节点上执行的具体工作，每个任务包含运行时所需要的资源信息；二级调度器：接收资源调度主节点一级调度器发送的可用资源信息，根据自身任务所需的资源将任务确定到某个资源调度从节点进行执行。

如图1所示，本发明基于资源统一调度的分布式资源调度方法的一实施例包括：资源调度从节点s1收集机器可用资源，本实施例可以包括4个CPU，4G内存并告知资源调度主节点M。资源调度从节点s2收集机器上可用资源包括2个CPU和1G内存，并告知资源调度主节点M。