[发明专利]一种资源调度方法、装置、电子设备及存储介质

说明书

本公开提供了一种资源调度方法、装置、电子设备及存储介质，其中，该方法包括：接收针对目标任务的资源分配触发请求，资源分配触发请求中携带有目标任务的资源需求量；判断资源调度系统中多个资源节点可用资源量的总和是否小于资源需求量；响应于小于资源需求量的第一判断结果，基于可用资源量的总和更新目标任务的资源积累列表；响应于大于或者等于资源需求量的第二判断结果，则从多个资源节点可用资源量的总和中选取与目标任务的资源需求量匹配的目标可用资源量，并将该目标可用资源量所指示目标资源节点上的集群资源分配给目标任务。采用上述方案能够避免各任务因仅分配到一部分资源而导致均不能启动的问题，提升资源利用率。

技术领域

本公开涉及大数据处理技术领域，具体而言，涉及一种资源调度方法、装置、电子设备及存储介质。

背景技术

另一种资源协调者(Yet Another Resource Negotiator，YARN)作为一种新的Hadoop(一种分布式系统基础架构)资源管理器，它将资源管理从计算框架中分离出来，变为一个通用的资源管理系统，能够对Hadoop下的集群资源进行调度。

目前，YARN在针对Flink计算任务进行资源调度时，每提交一个Flink计算任务会根据自身的情况，向YARN申请资源，这里，往往需要集齐足够多的资源才可以运行任务。这样，针对多个Flink计算任务而言，如果每个计算任务仅分配到一部分资源，则会导致各个任务均无法启动，这导致资源利用率较低。

发明内容

本公开实施例至少提供一种资源调度方案，能够在可用资源量累积到资源需求量的情况下为目标任务一次性的分配集群资源，避免各任务因仅分配到一部分资源而导致均不能启动的问题，提升资源利用率。

主要包括以下几个方面：

第一方面，本公开实施例提供了一种资源调度方法，所述方法包括：

接收针对目标任务的资源分配请求，所述资源分配请求中携带有所述目标任务的资源需求量；

接收资源调度系统中多个资源节点的可用资源量；

判断所述多个资源节点所述可用资源量的总和是否小于所述资源需求量；

响应于小于所述资源需求量的第一判断结果，基于所述可用资源量的总和更新所述目标任务的资源积累列表；所述资源积累列表用于记录为所述目标任务所累积分配的目标可用资源量在所述多个资源节点上的分布信息；

响应于大于或者等于所述资源需求量的第二判断结果，则从所述多个资源节点所述可用资源量的总和中选取与所述目标任务的资源需求量匹配的目标可用资源量，并将该目标可用资源量所指示目标资源节点上的集群资源分配给所述目标任务。

在一种实施方式中，在基于所述可用资源量的总和更新所述目标任务的资源积累列表之后，还包括：

判断在达到预设累积截止条件之前，为所述目标任务所累积分配的目标可用资源量是否达到所述目标任务的资源需求量；

若达到所述目标任务的资源需求量，则将所述目标可用资源量所指示的集群资源分配给所述目标任务；

若未达到所述目标任务的资源需求量，则生成资源分配失败信息。

在一种实施方式中，在基于所述可用资源量的总和更新所述目标任务的资源积累列表之后，还包括：

查询所述资源调度系统中其他任务的资源积累列表；