[发明专利]一种资源调度方法及装置

说明书

本发明实施例公开了一种资源调度方法及装置，涉及资源管理技术领域，用以提高集群资源的利用率。该方法应用于资源管理器，资源管理器用于管理和调度集群资源，集群包括多个节点，与集群支持的计算框架适配的R个应用程序运行在多个节点上，R为正整数，该方法包括：资源管理器接收R个应用程序的资源请求；资源管理器获取历史特征信息，历史特征信息包括第一历史特征信息和第二历史特征信息中的至少一项；资源管理器根据第一历史特征信息和第一调度策略为N个应用程序调度资源；或者，资源管理器根据第二历史特征信息和第二调度策略为R个应用程序中的至少一个应用程序调度资源。

技术领域

本发明涉及资源管理技术领域，尤其涉及一种资源调度方法及装置。

背景技术

随着互联网的快速发展和大数据时代的来临，基于数据密集型应用的计算框架不断涌现，不同的计算框架面向不同领域的应用。基于这一特点，一些公司(例如，互联网公司)往往需要部署和运行多个计算框架，从而为每个应用选择最优的计算框架。因此，集群资源统一管理和调度系统作为集群资源共享平台被提出来，该系统中包括集群，集群包括资源管理器和多个节点，集群资源即多个节点的资源，资源管理器部署在集群中的节点上，该系统需要同时支持多种不同的计算框架，如图1所示的系统，该系统支持MR(即MapReduce)、Storm、S4(Simple Scalable Streaming System)以及MPI(Message PassingInterface)等计算框架，资源管理器通过对客户端设备发送的不同计算框架类型的应用程序进行统一的调度，以便提高资源利用率，降低运维成本。

目前，集群资源统一管理和调度系统经常采用的资源调度策略包括公平调度策略、容量调度策略和先进先出调度策略，公平调度策略即按照客户端设备提交的应用程序所需要使用的内存资源、中央处理器(Central Processing Unit，简称CPU)资源或磁盘I/O资源等资源的比率大小进行资源调度；容量调度策略即以应用程序为单位划分资源，每个应用程序可设定资源最低保证和使用上限，按照设定的资源最低保证和使用上限为应用程序调度资源；先进先出调度策略即按照客户端设备提交的应用程序的先后顺序调度。由于应用程序向资源管理器请求的资源量并不是应用程序实际需要的资源量，而是尽量请求较多的资源，使得集群资源统一管理和调度系统不能根据应用程序的实际运行情况为每个应用程序分配资源，从而使得资源分配不合理，资源利用率有待提高。

发明内容

本发明的实施例提供一种资源调度方法及装置，用以提高集群资源的利用率。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种资源调度方法，应用于资源管理器，资源管理器用于管理和调度集群资源，集群包括多个节点，与集群支持的计算框架适配的R个应用程序运行在多个节点上，R为正整数，该方法包括：资源管理器接收R个应用程序的资源请求；资源管理器获取历史特征信息，历史特征信息包括第一历史特征信息和第二历史特征信息中的至少一项，第一历史特征信息为R个应用程序中的N个应用程序的历史特征，应用程序的历史特征包括用于表示该应用程序的历史资源使用情况的信息和用于表示该应用程序的历史运行时间的信息中的至少一项；第二历史特征信息为多个节点中的有空闲资源的M个节点的历史特征，节点的历史特征包括该节点的故障率以及任务失败率中的至少一项，1≤N≤R，M≥1，N、M均为整数；资源管理器根据第一历史特征信息和第一调度策略为N个应用程序调度资源；或者，资源管理器根据第二历史特征信息和第二调度策略为R个应用程序中的至少一个应用程序调度资源。