[发明专利]YARN集群资源调度方法、装置、介质和计算机设备

权利要求书

1.一种YARN集群资源调度方法，其特征在于，应用于资源管理器，该方法包括：

接收应用管理器发送的作业任务的作业资源请求；

确定所述作业资源请求是刚性资源请求时，将所述刚性资源请求添加至请求队列中；其中，所述请求队列中包括多个请求单元，不同作业任务所属的多个刚性资源请求被添加至对应的不同请求单元中；

启动多个第一线程，每个所述第一线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源预分配处理；

每个所述第一线程在资源预分配之后，判断每个预分配结果是否满足对应的作业任务的资源需求量；

若是，则每个所述第一线程分别提交所述预分配结果至所述应用管理器。

2.根据权利要求1所述的资源调度方法，其特征在于，所述每个所述第一线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源预分配处理，包括：

获取集群所有节点构成节点列表；

从所述节点列表中过滤符合预设过滤条件的节点，得到待分配节点列表；

基于至少一个约束条件对所述待分配节点列表中的每个节点计算节点分值；

基于所述节点分值从所述待分配节点列表中确定目标候选节点；

在所述目标候选节点上为对应的所述请求单元中的所述多个刚性资源请求进行资源预分配。

3.根据权利要求2所述的资源调度方法，其特征在于，所述预设过滤条件至少包括节点负载大于预设负载；和/或，所述至少一个约束条件包括节点属性的弱约束条件。

4.根据权利要求1或2所述的资源调度方法，其特征在于，所述方法还包括：

每个所述第一线程在资源预分配之后，判断预分配结果不满足对应的作业任务的资源需求量时，取消预分配结果以释放所述预分配结果中的资源。

5.根据权利要求4所述的资源调度方法，其特征在于，所述方法还包括：

在预分配结果不满足对应的作业任务的资源需求量时，判断所述作业任务所属的刚性资源请求是否携带指定重试信息；

若是，则将所述作业任务所属的刚性资源请求重新添加至所述请求队列中。

6.一种YARN集群资源调度方法，其特征在于，应用于资源管理器，该方法包括：

接收应用管理器发送的作业任务的作业资源请求；

确定所述作业资源请求是刚性资源请求时，将所述刚性资源请求添加至请求队列中；其中，所述请求队列中包括多个请求单元，不同作业任务所属的多个刚性资源请求被添加至对应的不同请求单元中；

启动多个第二线程，每个所述第二线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源分配处理。

7.根据权利要求6所述的资源调度方法，其特征在于，所述每个所述第二线程从所述请求队列中获取对应的每个所述请求单元中的多个刚性资源请求以进行资源分配处理，包括：

获取集群所有节点构成节点列表；

从所述节点列表中筛选过滤掉符合预设过滤条件的节点，得到待分配节点列表；

基于至少一个约束条件对所述待分配节点列表中的每个节点计算节点分值；

基于每个节点的节点分值为对应的请求单元中的多个刚性资源请求进行资源分配。

8.根据权利要求7所述的资源调度方法，其特征在于，所述基于每个节点的节点分值为对应的请求单元中的多个刚性资源请求进行资源分配，包括：

基于每个节点的节点分值进行节点排序，获取排序后的每个节点的可分配资源；

基于排序后的每个节点的可分配资源依次进行资源分配。

9.根据权利要求7所述的资源调度方法，其特征在于，所述方法还包括：

对所述待分配节点列表中的每个节点计算节点分值之前，获取每个节点的可分配资源的快照信息；

基于所述快照信息为每个节点计算节点分值。