[发明专利]YARN集群资源调度方法、装置、介质和计算机设备

说明书

本公开涉及一种YARN集群资源调度方法、装置、介质和计算机设备，其中方法包括：接收应用管理器发送的作业任务的作业资源请求；确定作业资源请求是刚性资源请求时，将刚性资源请求添加至请求队列中，请求队列中包括多个请求单元，不同作业任务所属的多个刚性资源请求被添加至对应的不同请求单元中；启动多个第一线程，每个第一线程从请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源预分配处理；每个所述第一线程在资源预分配之后，判断每个预分配结果是否满足对应的作业任务的资源需求量；若是，则每个所述第一线程分别提交预分配结果至应用管理器。本公开的实施方案可以提高集群的资源调度性能。

技术领域

本公开实施例涉及计算机集群资源管理技术领域，尤其涉及一种YARN集群资源调度方法，YARN集群资源调度装置，以及实现YARN集群资源调度方法的计算机可读存储介质和计算机设备。

背景技术

YARN是一种新的Hadoop资源管理系统，它将资源管理从计算框架中分离出来，变成一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。

YARN系统通常可由资源管理器RM(Resource Manager)，节点管理器NM(NodeManager)，应用管理器AM(Application Master)以及资源容器(Container)等组成。在资源调度时，存在一些刚性资源请求，例如科学计算或者是机器学习的训练任务的资源请求，这些作业任务在资源请求时如果申请了例如1000核(core)CPU资源，那么最终必须在规定的时间内把1000核CPU资源全部分配给用户，否则任务就会失败，如分配到500核CPU资源，没有达到作业任务所需的总资源，则作业任务无法启动。

相关技术中设计了刚性调度器(Gang Scheduler)来进行刚性资源请求的处理。但是目前的刚性调度器的实现方式是同步方式，所有应用程序的AM与RM是通过心跳定时通信，RM通过锁(lock)的方式保证每个应用程序的多次心跳是串行的，Gang Scheduler会在每次心跳中同步进行一次资源调度，同步返回调度结果如成功或者失败，此方式资源调度与心跳耦合，造成的问题是无法灵活地对多个应用程序的资源请求进行自定义排队策略，影响调度性能。另外，由于采用同步方式，不支持并发，所以在资源请求量增大时，性能会出现一些瓶颈。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种YARN集群资源调度方法，YARN集群资源调度装置，以及实现YARN集群资源调度方法的计算机可读存储介质和计算机设备。

第一方面，本公开实施例提供了一种YARN集群资源调度方法，应用于资源管理器，该方法包括：

接收应用管理器发送的作业任务的作业资源请求；

确定所述作业资源请求是刚性资源请求时，将所述刚性资源请求添加至请求队列中；其中，所述请求队列中包括多个请求单元，不同作业任务所属的多个刚性资源请求被添加至对应的不同请求单元中；

启动多个第一线程，每个所述第一线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源预分配处理；

每个所述第一线程在资源预分配之后，判断每个预分配结果是否满足对应的作业任务的资源需求量；

若是，则每个所述第一线程分别提交所述预分配结果至所述应用管理器。

在本公开的一些实施例中，所述每个所述第一线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源预分配处理，包括：

获取集群所有节点构成节点列表；

从所述节点列表中筛选过滤掉符合预设过滤条件的节点，得到待分配节点列表；

基于至少一个约束条件对所述待分配节点列表中的每个节点计算节点分值；