[发明专利]资源伸缩方法、装置、计算机设备及存储介质

说明书

本发明公开了资源伸缩方法、装置、计算机设备及存储介质，其中方法可包括：获取用户为所提交的作业配置的不同进程的实例副本数以及单个实例副本所需资源，进程包括：master进程、parameter server进程以及trainer进程，trainer进程包括最大实例副本数和最小实例副本数，所述作业为离线作业，离线作业与在线任务混合部署在系统中；当按照所配置的实例副本数以及单个实例副本所需资源依次启动master进程和parameter server进程后，尝试按照最小实例副本数以及单个实例副本所需资源启动trainer进程；当每次满足触发条件时，从所提交的作业中选出符合调整条件的可调整作业，根据当前的系统资源使用情况对可调整作业中的trainer实例副本进行扩容或缩容处理。应用本发明所述方案，能够提升资源利用率等。

【技术领域】

本发明涉及计算机应用技术，特别涉及资源伸缩方法、装置、计算机设备及存储介质。

【背景技术】

目前，对于深度学习作业等，在提交具体的训练任务之前，通常需要先准确地预估出所需的资源总量，进而向分布式训练系统(集群)提交任务，一次性的申请所有资源，等待资源充足时调度运行。

深度学习作业通常为离线作业，而除了离线作业，系统中还可存在在线任务，即离线作业与在线任务可混合部署在系统中。

这种情况下，通常采用静态资源分配方式，即采用静态划分系统可使用资源的方式，以避免离线作业和在线任务资源竞争而影响在线任务的服务质量(QoS，Quality ofService)，因为在线服务对于资源索取的优先级往往是高于离线作业的。

但是，这种方式在实际应用中也会存在一定的问题，比如：

1)在线任务的资源需求会随着服务访问流量的变化而变化，这样就经常会出现所分配的很多资源处于空闲状态的情况，从而造成了资源的浪费，降低了资源利用率；

2)对于深度学习作业等离线作业，只有当所需的资源总量能够满足要求时才会运行作业，否则，作业将一直处于挂起状态，直到释放了充足的资源，这样就会导致大量的高资源要求的离线作业阻塞在待调度队列中，这种等待无疑浪费了当前可用的计算资源，并且提高了离线作业因持续等待资源释放而“饿死”的概率，影响了离线作业的正常运行。

【发明内容】

有鉴于此，本发明提供了资源伸缩方法、装置、计算机设备及存储介质。

具体技术方案如下：

一种资源伸缩方法，包括：

获取用户为所提交的作业配置的不同进程的实例副本数以及单个实例副本所需资源，所述进程包括：master进程、parameter server进程以及trainer进程，其中，所述trainer进程包括最大实例副本数和最小实例副本数，所述作业为离线作业，所述离线作业与在线任务混合部署在系统中；

当按照所配置的实例副本数以及单个实例副本所需资源依次启动所述master进程以及所述parameter server进程后，尝试按照所述最小实例副本数以及单个实例副本所需资源启动所述trainer进程；

当每次满足触发条件时，从所提交的作业中选出符合调整条件的可调整作业，并根据当前的系统资源使用情况对所述可调整作业中的trainer实例副本进行扩容或缩容处理。

一种资源伸缩装置，包括：获取单元、启动单元以及伸缩单元；

所述获取单元，用于获取用户为所提交的作业配置的不同进程的实例副本数以及单个实例副本所需资源，所述进程包括：master进程、parameter server进程以及trainer进程，其中，所述trainer进程包括最大实例副本数和最小实例副本数，所述作业为离线作业，所述离线作业与在线任务混合部署在系统中；