[发明专利]数据处理方法、装置、服务器及计算机可读存储介质

说明书

本发明实施例提供了一种数据处理方法、装置、服务器、计算机可读存储介质，该方法包括：根据待分配的多个GPU中每个GPU的可用资源量，对图计算模型进行分块，生成多个模型块以及多个模型块之间的第一依赖关系；根据每个模型块所需的第一资源量和每个GPU的可用资源量，对多个模型块分别分配GPU，生成模型块与GPU之间的对应关系；根据对应关系将多个模型块分别加载至对应的GPU；接收对图计算模型的图计算请求；响应于图计算请求，通过多个GPU上所加载的多个模型块，按照第一依赖关系对图计算请求进行处理，生成图计算结果并输出。本发明实现了对大型图计算模型的推理计算。

技术领域

本发明涉及云计算技术领域，特别是涉及一种数据处理方法、装置、服务器及计算机可读存储介质。

背景技术

目前，人工智能模型的体积越来越大，推理计算模型(一般为图计算模型)所需的计算资源较多，而GPU(Graphics Processing Unit，图形处理器，俗称显卡)设备所提供的资源较少。

GPU在利用图计算模型进行推理计算时，需要将整个模型加载至显存中，再进行推理计算。那么当该图计算模型较大时，则GPU设备较难完成对大模型的加载，从而无法完成图计算。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何对大型图计算模型完成推理计算。

发明内容

本发明实施例提供了一种数据处理方法、装置、服务器及计算机可读存储介质，以解决相关技术中难以对大型图计算模型完成推理计算的问题。

为了解决上述问题，根据本发明实施例的一个方面，本发明公开了一种数据处理方法，包括：

根据待分配的多个GPU中每个GPU的可用资源量，对图计算模型进行分块，生成多个模型块以及所述多个模型块之间的第一依赖关系；

根据每个所述模型块所需的第一资源量和所述每个GPU的可用资源量，对所述多个模型块分别分配GPU，生成模型块与GPU之间的对应关系，其中，所述对应关系中模型块所需的第一资源量小于或等于该模型块所对应的GPU的可用资源量；

根据所述对应关系将所述多个模型块分别加载至对应的GPU；

接收对所述图计算模型的图计算请求；

响应于所述图计算请求，通过所述多个GPU上所加载的所述多个模型块，按照所述第一依赖关系对所述图计算请求进行处理，生成图计算结果并输出。

根据本发明实施例的另一方面，本发明还公开了一种数据处理装置，包括：

分块模块，用于根据待分配的多个GPU中每个GPU的可用资源量，对图计算模型进行分块，生成多个模型块以及所述多个模型块之间的第一依赖关系；

分配模块，用于根据每个所述模型块所需的第一资源量和所述每个GPU的可用资源量，对所述多个模型块分别分配GPU，生成模型块与GPU之间的对应关系，其中，所述对应关系中模型块所需的第一资源量小于或等于该模型块所对应的GPU的可用资源量；

加载模块，用于根据所述对应关系将所述多个模型块分别加载至对应的GPU；

接收模块，用于接收对所述图计算模型的图计算请求；

处理模块，用于响应于所述图计算请求，通过所述多个GPU上所加载的所述多个模型块，按照所述第一依赖关系对所述图计算请求进行处理，生成图计算结果并输出。

根据本发明实施例的又一方面，本发明还公开了一种服务器，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任意一项所述的数据处理方法的步骤。