[发明专利]分布式系统、资源容器的分配方法、资源管理器及应用控制器

说明书

本发明实施例提供了一种资源分配方法、装置和系统，用于为应用分配资源。该方法包括：应用控制器接收来自客户端的资源分配请求，该资源分配请求中携带客户端上运行的应用的资源需求信息，其中，该应用控制器用于管理资源池，资源池中包含至少一个已启动的容器，该资源池中的容器由该应用控制器提前向资源管理器申请并启动；应用控制器根据该应用的资源需求信息，从资源池中选择空闲的资源容器分配给客户端。根据该方法，当应用控制器接收到应用的资源分配请求后，可以实现资源容器资源的及时分配，避免了资源容器启动的等待时间，且通过对资源池中资源容器的重用，避免了对资源容器的多次开启和关闭的资源消耗。

技术领域

本发明实施例涉及计算机领域，尤其涉及一种资源分配方法。

背景技术

云计算发展以来，集群的规模不断扩大，集群种类也不断增多。如常见的面向并行编程技术任务的分布式计算Hadoop集群等。从业界使用分布式系统的变化趋势和 Hadoop框架的长远发展来看,MapReduce的第一个版本MRv1中的作业追踪器(Job Tracker)/任务追踪器(Task Tracker)机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。

另一种资源协调者(Yet Another Resource Negotiator，yarn)是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 Yarn最初是为了修复MRv1的明显不足，并对可伸缩性、可靠性和集群利用率进行了提升。Yarn实现这些需求的方式是，把Job Tracker的两个主要功能(资源管理和作业调度/监控)分成了两个独立的服务程序，一个是全局的资源管理器(Resource Manager，RM)和针对每个作业的作业追踪器(Application Master，AM)。

Yarn中每个作业启用一个独立的AM，解决了MRv1中单点故障和扩展瓶颈问题。但这种方式将引入一个新的问题：作业延迟较大。每个作业首先要向RM申请资源启动一个AM，该AM再向RM申请资源并启动资源容器后，才可以正式启动作业。所以Yarn作业会产生较长的运行延迟，这不利于运行小作业，而且因为要为每一个作业申请一个 AM，需要更多的计算资源。

发明内容

有鉴于此，本发明实施例提供了一种资源的分配方法、装置和系统，以减少作业的等待时间。

第一方面，本申请提供了一种分布式系统中资源容器的分配方法，分布式系统包括资源管理器和节点管理器，资源管理器管理分布式系统的节点资源，节点管理器基于节点资源启动资源容器，资源容器用于执行应用的任务，该方法包括：资源管理器在满足触发时机时启动应用控制器，并配置该应用控制器管理的资源池的初始规格，该资源池的初始规格用于指示该应用控制器向资源管理器首次申请资源容器的数目和规格，资源管理器接收该应用控制器根据资源池的初始规格发送的资源池的第一资源请求后，根据该资源池的第一资源请求，为该资源池分配初始的资源容器，并向该应用控制器发送该资源池的第一资源分配消息，第一资源分配消息中包含资源管理器为应用控制器管理的资源池分配的初始的资源容器所在的节点的信息。

资源管理器主动启动应用控制器，并配置应用控制器管理的资源池的初始规格，从而使应用控制器根据资源池的初始规格向资源管理器提前申请一定数目的资源容器，从而提前启动申请到的容器，减少了后续应用作业等待资源容器启动的时间。

结合第一方面，在第一方面第一种可能的实现方式中，资源管理器在满足触发时机时启动应用控制器包括：资源管理器接收到预先启动应用控制器的请求或预先配置资源池的请求，或者在系统初始化时，启动该应用控制器。

应用控制器的启动时间可以有多种方式，可以基于用户需求，由管理员通过指令进行启动，也可以通过系统配置，在系统初始化时，由资源管理器自主启动。