[发明专利]集群资源分配与回收方法、装置、电子设备和存储介质

说明书

本发明涉及一种集群资源分配与回收方法、装置、电子设备和存储介质，该方法应用于包括自定义资源队列模块、配额观测模块、资源分配和回收模块的系统中，包括：定义集群资源中的队列信息；轮询每个队列配额的使用信息，实时更新使用信息；当接收到第一用户的新请求任务时，根据使用信息和队列信息分配集群资源、回收集群资源。通过自定义资源队列模块引入了全局的队列自定义资源，解决了namespace配额的局限性，可以很方便的用队列拓展到组的概念；通过配额观测模块实时确定使用信息，通过资源分配和回收模块，使得用户能够使用集群的空闲资源，解决了资源闲置的现象；并且合理的进行分配与回收，有效的提高了整个集群的资源利用率。

技术领域

本发明涉及集群资源利用技术领域，具体涉及一种集群资源分配与回收方法、装置、电子设备和存储介质。

背景技术

目前，现有的集群配额机制是固定的，每个用户可以使用的资源是固定的，即使在集群资源充足的情况下，用户超出限额的情况下也无法继续使用集群空余的资源，造成整个集群的资源浪费；弹性配额机制不够灵活，不能根据集群或者用户的真实使用情况自动进行调整；目前现有的集群配额没有组的概念，只有个人的概念，配置管理不够灵活；没有较好的预借任务回收机制，资源租借只能通过管理员繁琐的手动调整，无形中增加了运维人员的压力。

发明内容

本发明提供一种集群资源分配与回收方法、装置、电子设备和存储介质，能够解决上述集群资源配置不灵活、没有预借任务回收机制技术问题。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明实施例提供了一种集群资源分配与回收方法，应用于包括自定义资源队列模块、配额观测模块、资源分配和回收模块的系统中，包括：

定义集群资源中的队列信息；

轮询每个队列配额的使用信息，实时更新所述使用信息；

当接收到第一用户的新请求任务时，根据所述使用信息和所述队列信息分配集群资源、回收集群资源。

在一些实施例中，上述队列信息包括：

每个队列、每个队列对应的namespace、最大配额、最小配额、每个队列的超限资源比例权重P、每个队列都有一个变量W；

其中，所述变量W用于自动记录每个队列使用的超限的资源的数量；

所述超限资源比例权重P用于指示超出最小配额的资源的使用比例，

在一些实施例中，上述一种集群资源分配与回收方法中当接收到第一用户的新请求任务时，根据使用信息分配集群资源、回收集群资源，当集群资源有空余资源时，包括：

第一用户的新请求任务资源小于最小配额时，集群资源正常分配，新请求任务正常提交；

第一用户的新请求任务资源大于最小配额小于所述最大配额时，新请求任务能够提交，查询每个队列的记录值；

第一用户的新请求任务资源大于最大配额时，设置新请求任务的优先级为三级；

在一些实施例中，上述一种集群资源分配与回收方法中当接收到新请求任务时，根据所述使用信息分配集群资源、回收所述集群资源，当集群资源没有空余资源时，包括：

第一用户的新请求任务资源小于最小配额时，回收集群资源，使得新请求任务的队列能够满足最小配额；

第一用户的新请求任务资源达到最小配额时，不进行分配。

在一些实施例中，上述一种集群资源分配与回收方法中查询各个队列的记录值后，包括：

第一用户的新请求任务资源在集群中使用的超限资源所占的比例小于超限资源比例权重，设置第一用户的新请求任务的优先级为二级；