[发明专利]一种图形处理器管理方法、装置及服务器

说明书

本申请实施例提供了一种图形处理器管理方法、装置及服务器，该方法包括：接收计算请求，计算请求包括：图形处理器的目标数量；至少基于所述图形处理器的目标数量，从多个计算节点链表中查找出目标计算节点，其中，计算节点链表中的每一个计算节点的空闲的图形处理器的数量相同；从目标计算节点的所有空闲的图形处理器中查找出所述图形处理器的目标数量个目标图形处理器。实现了提升GPU集群的整体GPU分配效率和GPU集群中的GPU的利用率。

技术领域

本申请涉及计算机领域，具体涉及图形处理器管理方法、装置及服务器。

背景技术

目前，当利用图形处理器(Graphics Processing Unit，GPU)集群进行诸如神经网络训练、并行进行加速的大规模计算时，通常采用的分配GPU集群中的GPU的方式为：针对每一个计算请求，计算节点的分配和计算节点中的GPU的分配均为随机分配的。

然后，由于每一次计算所请求的GPU数目的随机性、具有多个GPU的计算节点中的GPU之间的连接方式的数据传输性能的差异等因素，采用随分配GPU集群中的GPU的方式会导致以下问题：GPU分配的碎片化，导致无法充分利用GPU集群中的GPU。

发明内容

本申请实施例提供了图形处理器管理方法和装置。

第一方面，本申请实施例提供了图形处理器管理方法，该方法包括：接收计算请求，计算请求包括：图形处理器的目标数量；至少基于所述图形处理器的目标数量，从多个计算节点链表中查找出目标计算节点，其中，计算节点链表中的每一个计算节点的空闲的图形处理器的数量相同；从目标计算节点的所有空闲的图形处理器中查找出所述图形处理器的目标数量个目标图形处理器。

第二方面，本申请实施例提供了图形处理器管理装置，该装置包括：计算请求接收单元，被配置为接收计算请求，计算请求包括：目标图形处理器的目标数量；目标计算节点查找单元，被配置为至少基于所述目标图形处理器的目标数量，从多个计算节点链表中查找出目标计算节点，其中，计算节点链表中的每一个计算节点的空闲的目标图形处理器的数量相同；目标图形处理器查找单元，被配置为从目标计算节点的所有空闲的目标图形处理器中查找出所述目标图形处理器的目标数量个目标图形处理器。

本申请实施例提供的图形处理器管理方法和装置，至少具有以下优点：

通过计算节点链表来管理GPU集群中的所有空闲的计算节点，每一次接收到计算请求需要分配计算节点时，从多个计算节点中查找出包括的空闲的GPU的数量与GPU的目标数量相同或接近的目标计算节点来完成计算，避免GPU分配过程中因随机分配计算节点而造成的GPU分配的碎片化的问题，提升GPU集群的整体GPU分配效率和GPU集群中的GPU的利用率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本请求的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的图形处理器管理方法的一个实施例的流程图；

图2示出了从多个计算节点链表中查找目标计算节点的一个流程图；

图3示出了从目标计算节点中查找目标图形处理器的一个流程图；

图4示出了本申请实施例提供的图形处理器管理装置的一个结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。