[发明专利]一种资源调度方法、装置和系统

说明书

本发明公开一种资源调度方法、装置和系统，以解决现有技术中GPU资源利用率较低的技术问题。方法包括：监控每个宿主机中各GPU的可分配资源；在接收到新任务时，确定新任务对应的需求资源；根据宿主机中的各GPU的可分配资源，确定出可分配资源满足所述需求资源的目标GPU；从所述目标GPU的可分配资源中为所述新任务分配资源，并将所述新任务分配给所述目标GPU所在的宿主机。采用本发明技术方案，不仅提高GPU资源利用率，而且提高任务执行效率和速度。

技术领域

本发明涉及计算机领域，特别涉及一种资源调度方法、一种资源调度装置和一种资源调度系统。

背景技术

目前，基于master-worker模式的分布式计算集群系统运用越来越广泛(例如docker容器集群)，基于master-worker模式的分布式计算集群系统包括master端服务器和多个worker端宿主机。master端服务器用于接收新任务、给新任务分配资源和给worker宿主机分配任务等；worker宿主机用于接收新任务，并执行所述新任务。

分布式计算集群系统中，master端服务器在给新任务分配资源时，将worker宿主机中的一整块或多块GPU(Graphics Processing Unit，图形处理器)的全部资源分配给同一个任务，即一个任务占用一整块或多块GPU的全部资源。

Master端服务器在接收到新任务时，判断worker端宿主机上是否存在未分配给任何一个任务的整块GPU，若不存在则等待执行中任务执行完毕后再给新任务分配一个或多个整块GPU资源。但是，在实际使用中，一个任务往往并不是时时刻刻100％的使用已分配的整块GPU资源，例如可能会在很长一段时间内该任务仅使用了整块GPU中的30％或50％的资源，该GPU中的其他资源处于空闲状态。因此，现有的资源分配方式并不能充分、合理的利用整块GPU的资源，GPU资源利用率较低。

发明内容

鉴于上述问题，本发明提供一种资源调度方法、装置和系统，以解决现有技术中GPU资源利用率较低的技术问题。

本发明实施例，第一方面提供一种资源调度方法，所述方法应用于master-worker模式的分布式计算集群中的master端服务器，该方法包括：

监控每个宿主机中各GPU的可分配资源；

在接收到新任务时，确定新任务对应的需求资源；

根据宿主机中的各GPU的可分配资源，确定出可分配资源满足所述需求资源的目标GPU；

从所述目标GPU的可分配资源中为所述新任务分配资源，并将所述新任务分配给所述目标GPU所在的宿主机。

本发明实施例中，第二方面提供一种资源调度方法，该方法适用于master-worker模式的分布式计算集群中的worker端宿主机，方法包括：

确定宿主机中各GPU中的可分配资源；

将各GPU的可分配资源发送给master端服务器；

执行所述master端服务器分配的任务。

本发明实施例中，第三方面提供一种资源调度装置，该装置设置在master-worker模式的分布式计算集群中的master端服务器，装置包括：

监控单元，用于监控每个宿主机中各GPU的可分配资源；

解析单元，用于在接收到新任务时，确定新任务对应的需求资源；

确定单元，用于根据宿主机中的各GPU的可分配资源，确定出可分配资源满足所述需求资源的目标GPU；

分配单元，用于从所述目标GPU的可分配资源中为所述新任务分配资源，并将所述新任务分配给所述目标GPU对应的宿主机。