[发明专利]一种基于GPU虚拟化的资源复用方法、装置及设备

说明书

本说明书实施例公开了一种基于GPU虚拟化的资源复用方法、装置及设备。方案包括：通过在客户端预先存储对于第一资源的设置参数，从而令客户端本地可以处理AI框架层发送的用于创建第一资源的第一API调用请求，以及对所述第一资源进行设置的第二API调用请求，无需转发GPU驱动；并令客户端在获取到AI框架层发送的用于基于第一资源进行计算的第三API调用请求时，将生成的针对第一资源的第一计算指令以及预先存储的对于第一资源的设置参数，发送至GPU驱动，从而利用GPU虚拟化技术执行AI任务。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于GPU虚拟化的资源复用方法、装置及设备。

背景技术

图形处理器（Graphics Processing Unit，GPU）是一种可以用于对图像和图形进行高效计算处理的微处理器。越来越多的人工智能技术开始基于GPU而实现。为对GPU资源进行合理分配，GPU虚拟化技术应运而生。使用GPU虚拟化技术之后，可以让不同的人工智能（Artificial Intelligence，AI）任务去共享一个或多个GPU上的资源执行计算。这种安全且高效的GPU资源管理方式，被越来越多的用户使用。但是，目前利用GPU虚拟化技术执行AI任务时，基于GPU虚拟化技术执行AI任务时的运行效率还有待提高。

发明内容

有鉴于此，本申请实施例提供了一种基于GPU虚拟化的资源复用方法、装置及设备，用于提高基于GPU虚拟化技术执行AI任务时的运行效率。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种基于GPU虚拟化的资源复用方法，应用于GPU虚拟化系统中的客户端，包括：

获取AI框架层发送的用于创建第一资源的第一API调用请求；

确定预先存储的与所述第一资源相匹配的数据所在的内存地址；所述与所述第一资源相匹配的数据包含对于所述第一资源的设置参数；

向所述AI框架层反馈所述与所述第一资源相匹配的数据所在的内存地址；

获取所述AI框架层发送的用于对所述第一资源进行设置的第二API调用请求；

向所述AI框架层反馈用于表示设置成功的消息；

获取所述AI框架层发送的用于基于所述第一资源进行计算的第三API调用请求；

基于所述第三API调用请求，生成针对所述第一资源的第一计算指令；

将所述第一计算指令以及所述与所述第一资源相匹配的数据发送至GPU驱动。

本说明书实施例提供的一种基于GPU虚拟化的资源复用装置，应用于GPU虚拟化系统中的客户端，包括：

第一获取模块，用于获取AI框架层发送的用于创建第一资源的第一API调用请求；

第一确定模块，用于确定预先存储的与所述第一资源相匹配的数据所在的内存地址；所述与所述第一资源相匹配的数据包含对于所述第一资源的设置参数；

第一反馈模块，用于向所述AI框架层反馈所述与所述第一资源相匹配的数据所在的内存地址；

第二获取模块，用于获取所述AI框架层发送的用于对所述第一资源进行设置的第二API调用请求；

第二反馈模块，用于向所述AI框架层反馈用于表示设置成功的消息；

第三获取模块，用于获取所述AI框架层发送的用于基于所述第一资源进行计算的第三API调用请求；

第一计算指令生成模块，用于基于所述第三API调用请求，生成针对所述第一资源的第一计算指令；