[发明专利]分布式资源管理中低时延节点本地调度的系统和方法

说明书

提供一种分配资源和处理接收待处理作业的分布式系统内的作业的系统。所述系统包括处理器(1308)和耦合到所述处理器的存储器(1306)。所述存储器(1306)包括至少一个进程和至少一个资源分配器(1504)。所述进程用于处理接收待处理作业的分布式系统内的作业。所述资源分配器(1504)可通信地与至少一个进程耦合，用于在分配给所述进程用于处理作业的一个或多个资源的限制内生成一个或多个子进程。当使用根据第一方面的所述系统时，所述系统提供：用于分布式处理系统的低时延节点本地调度框架，其允许直接在节点上进行资源分配，不必联系中央资源主控器(1502)做进一步分配资源，从而实现低时延。

技术领域

本公开一般涉及数据处理技术，更具体地，涉及分布式资源管理中的低时延节点本地调度的技术。

背景技术

通过网络连接并通过适当的软件和管理策略统一的自主机器的集合本身是计算机系统。基于网络的计算机系统这个概念在计算机行业中变得越来越重要。基于网络的计算机不止包括客户端-服务器计算以及对双方关系的关注。在基于网络的计算中，服务(或资源)变成更通用的概念，并且不再需要绑定到单个机器；相反，其成为所有基于网络的计算机的特征。基于网络的计算机或环境可以出现在许多情况中，例如出现在局域网上的用户工作站和服务器机器的异构集合中；在由通过高速网络连接的各个处理器组成的专用“集群”机器中；或者在将几个此类环境连接在一起的校园或企业或全球网络中。

分布式系统是一种模型，其中位于联网计算机上的组件通过传递消息来通信和协调其动作。这些组件互相交互以实现共同的目标。在分布式系统中，并行运行的应用可以通过在不同节点上并行执行任务来利用多个互连节点的组合资源容量。所有这些环境中的重要组件是资源管理系统，而资源管理系统的重要方面是其作业调度能力。

传统地，为了将可用资源分配给多个节点上的分布式应用，典型的分布式资源调度(distributed resource scheduling，DRS)框架如图1所示工作。如图1所示，在将可用资源分配给多个节点上的分布式应用时涉及的主要组件是资源主控器(resource master，RM)、应用管理器(application manager，AM)、资源代理(resource agent，RA)和容器。该容器本质上是指一个进程，该进程负责在AM所要求的并且随后由RM分配的物理资源的范围内执行单个任务单元。RM跟踪集群上的活动RA和可用资源，并根据AM指定的资源需求将这些资源作为容器分配给应用。应用管理器AM处理应用生命周期并协调执行应用的所有任务(作为容器执行)。AM从RM请求得到所需的资源，例如但不限于存储器、CPU等，以启动任务，并且在接收到这些资源时，联系资源代理以启动这些任务作为容器。RA在每个节点上运行，并且向RM发送关于该节点上的可用资源的周期性更新消息。RA基于RM分配的资源在节点上启动容器进程。RA还对容器执行资源实施并监控其资源使用。每个容器可以具有不同的资源(例如RAM、CPU)需求。应用可以通过将其工作分为多个任务然后并行运行多个容器来完成执行。

传统的根据图1的典型分布式资源调度框架处理资源请求的分布式执行流程如图2所示。如图2所示，考虑应用(应用管理器)运行相当长的时间并服务客户端的临时请求。分布式处理系统中的应用管理器(application manager，AM)可以永远运行，除非故障或崩溃。以下步骤指示AM如何服务临时(ad-hoc)客户端请求：1、用户向DRS框架上运行的AM发出临时请求；2、AM评估该临时请求，识别其在一个或多个节点上所需的资源，并向这些节点上的RM请求资源；3、RA立即向RM更新节点资源；4、RM尝试基于调度器队列层级来调度节点的资源(如果空闲的话)。