[发明专利]集群资源调度方法、装置、介质和计算设备

说明书

本发明的实施方式提供了一种集群资源调度方法。该方法包括：获取针对至少两个计算组中第一计算组的待执行作业；确定至少两个计算组中各计算组的剩余资源及第一计算组已被使用资源的使用信息；根据第一计算组的剩余资源、使用资源及执行待执行作业所需的目标资源，确定是否向待执行作业分配第一计算组的资源；在确定不向待执行作业分配第一计算组的资源的情况下，确定至少两个计算组中第二计算组的剩余资源是否满足目标资源；在第二计算组的剩余资源满足目标资源的情况下，向待执行作业分配第二计算组的资源。此外，本发明的实施方式还提供了一种集群资源调度装置、介质和计算设备。本发明可以实现资源的跨组调用，从而可以提高资源的利用率。

技术领域

本发明的实施方式涉及计算机技术领域，更具体地，本发明的实施方式涉及一种集群资源调度方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

为了满足用户对服务的高要求，越来越多的企业选择由多台设备搭建的计算集群来进行事务的处理，以提高处理效率。为了实现对该计算集群中资源的合理使用，需要设定合理的资源调度方法。

相关技术中，往往采用已有的资源调度框架来实现对资源的调度使用。例如，针对Linux系统，采用的资源调度框架例如可以包括Slurm(Simple Utility forResource Management)。该些资源调度框架为了满足各用户使用资源的优先权，往往会将集群分为多个分区，来满足一个分区内的资源调度。具体地，在提交待执行作业到某个分区中时，若该某个分区内没有剩余资源，则往往会将该待执行作业加入到等候队列中。

在实现本发明的过程中，发明人发现，在实际使用中，往往会存在向一个用户组分配了多个分区资源的情况。现有的调度框架的调度机制无法使得向不同用户组分配的分区资源共享。这无疑会导致向有些用户组分配的分区资源较空闲，而向另一些用户组分配的分区资源因剩余资源量不足而存在较长队列的待执行作业的情况。这无疑会使得集群资源得不到充分利用。

发明内容

因此在现有技术中，对集群资源的调度存在为了保证用户使用资源的优先权，无法充分利用集群资源的问题。

为此，非常需要一种改进的集群资源调度方法，能够在提高资源利用率的基础上，同时保证各计算组处理对应作业优先权。

在本上下文中，本发明的实施方式期望提供一种能够实现跨组资源调用，并保证各组资源处理被分配作业的优先权的集群资源调度方法。

在本发明实施方式的第一方面中，提供了一种集群资源调度方法，所述集群包括至少两个计算组，每个计算组包括至少一个计算分区；所述方法包括：获取针对所述至少两个计算组中第一计算组的待执行作业；确定所述至少两个计算组中各计算组的剩余资源及所述第一计算组已被使用资源的使用信息；根据所述第一计算组的剩余资源、所述使用信息及执行所述待执行作业所需的目标资源，确定是否向所述待执行作业分配所述第一计算组的资源；在确定不向所述待执行作业分配所述第一计算组的资源的情况下，确定所述至少两个计算组中第二计算组的剩余资源是否满足所述目标资源；以及在所述第二计算组的剩余资源满足所述目标资源的情况下，向所述待执行作业分配所述第二计算组的资源。

在本发明的一个实施例中，所述确定是否向所述待执行作业分配所述第一计算组的资源包括：在所述第一计算组的剩余资源满足所述目标资源的情况下，确定向所述待执行作业分配所述第一计算组的资源；在所述第一计算组的剩余资源不满足所述目标资源的情况下，根据所述使用信息确定是否向所述待执行作业分配所述第一计算组的资源。