[发明专利]用于管理资源的方法、服务器系统和计算机可读介质

说明书

本公开的实施例提供了一种用于管理资源的方法、服务器系统和计算机程序产品。该方法可以包括接收来自应用的针对第一量的专用处理单元资源的请求，该应用具有已分配的优先级。该方法还可以包括基于请求确定应用将会占用的专用处理单元资源的总量。该方法还可以包括响应于总量接近或超出与优先级相关联的预定限额，为应用分配第一量的通用处理单元资源。

技术领域

本公开的实施例涉及计算机领域，并且更具体地，涉及一种用于管理资源的方法、服务器系统以及计算机程序产品。

背景技术

目前，很多数据处理和计算的任务依赖于专用处理器来执行。例如，图形处理单元(GPU)是一种已知的专用处理器，其被用于在个人计算机、工作站、游戏机和移动设备上进行加速运算。同时利用 GPU和中央处理单元(CPU)能够提供GPU加速计算。GPU加速计算能够将应用程序的计算密集的工作负荷转移到GPU上，而其余程序代码仍由CPU运行。从用户的角度来看，应用程序的运行速度明显加快。

如今，为了给诸如高性能计算(HPC)、机器学习(ML)或深度学习(DL)之类的密集型计算任务提供更好的服务，越来越多的公有云或数据中心开始部署GPU实例，以供这些密集型计算任务使用。这些公有云或数据中心中部署的GPU实例由不同租户的应用共享。然而，这些公有云或数据中心仅仅是简单地尝试部署GPU实例，目前尚处于初级阶段。到目前为止，没有在多个应用之间对这种共享的GPU中的资源进行服务质量(QoS)控制的方案。其他类型的专用处理器同样面对类似的问题。

发明内容

本公开的实施例提供了一种用于管理资源的方案。

在本公开的第一方面中，提供了一种用于管理资源的方法。该方法可以包括接收来自应用的针对第一量的专用处理单元资源的请求，该应用具有已分配的优先级。该方法还可以包括基于请求确定应用将会占用的专用处理单元资源的总量。该方法还可以包括响应于总量接近或超出与优先级相关联的预定限额，为应用分配第一量的通用处理单元资源。

在本公开的第二方面中，提供了一种服务器系统。该服务器系统可以包括专用处理单元、通用处理单元和控制器。控制器可以被配置为接收来自应用的针对第一量的专用处理单元资源的请求，应用具有已分配的优先级。控制器还可以被配置为基于请求确定应用将会占用的专用处理单元资源的总量。控制器还可以被配置为响应于总量接近或超出与优先级相关联的预定限额，为应用分配第一量的通用处理单元资源。

在本公开的第三方面中，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器执行上面所述的管理资源的方法的步骤。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了为多个应用提供共享的专用处理器的环境。

图2示出了根据本公开的实施例的架构的示意图。

图3示出了根据本公开的实施例的架构的示意图。

图4示出了根据本公开的实施例的用于管理资源的方法的流程图。

图5示出了可以用来实施本公开的实施例的示例设备的框图。

具体实施方式

下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的示例实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。