[发明专利]一种GPU虚拟化共享方法、装置及电子设备和存储介质

说明书

本申请公开了一种GPU虚拟化共享方法、装置及一种电子设备和计算机可读存储介质，该方法包括：确定目标物理GPU，并将目标物理GPU划分为多个虚拟GPU；当接收到目标任务时，在所述目标物理GPU选取目标虚拟GPU，以便利用所述目标虚拟GPU执行所述目标任务；在执行所述目标任务的过程中，当接收到对CUDA函数的调用请求时，将所述调用请求重定向至劫持库；其中，所述劫持库包括多个CUDA函数对应的重名函数，每个所述重名函数的返回值基于所述目标虚拟GPU的信息确定。本申请提供的GPU虚拟化共享方法，通过劫持技术和隔离技术，将一个物理GPU资源分隔成多个虚拟GPU资源，从而实现了GPU的多用户多任务共享。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种GPU虚拟化共享方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

目前随着深度学习的技术进步，极大的推动了人工智能的快速发展，无论是深度学习的训练还是推理，都极大的依赖于GPU(中文全称：图形处理器，英文全称：GraphicsProcessing Unit)。某些深度学习的模型较小，无法使得GPU满负荷运行，而目前主流框架执行深度学习任务都采用独占GPU的方式，这势必造成GPU资源的浪费。

因此，如何实现GPU的共享是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种GPU虚拟化共享方法、装置及一种电子设备和一种计算机可读存储介质，实现了GPU的共享。

为实现上述目的，本申请提供了一种GPU虚拟化共享方法，包括：

确定目标物理GPU，并将目标物理GPU划分为多个虚拟GPU；

当接收到目标任务时，在所述目标物理GPU选取目标虚拟GPU，以便利用所述目标虚拟GPU执行所述目标任务；

在执行所述目标任务的过程中，当接收到对CUDA函数的调用请求时，将所述调用请求重定向至劫持库；其中，所述劫持库包括多个CUDA函数对应的重名函数，每个所述重名函数的返回值基于所述目标虚拟GPU的信息确定。

其中，还包括：

确定所述劫持库的文件路径，并将LD_PRELOAD环境变量设置为所述文件路径。

其中，将所述调用请求重定向至劫持库，包括：

基于所述LD_PRELOAD环境变量通过加载器加载所述劫持库，并在所述劫持库中查找所述调用请求对应的目标函数；

基于所述目标虚拟GPU的信息执行所述目标函数得到所述调用请求的响应结果。

其中，所述将目标物理GPU划分为多个虚拟GPU，包括：

确定所述目标物理GPU与所述虚拟GPU的比例，并基于所述比例将所述目标物理GPU划分为多个虚拟GPU。

为实现上述目的，本申请提供了一种GPU虚拟化共享装置，包括：

划分模块，用于确定目标物理GPU，并将目标物理GPU划分为多个虚拟GPU；

选取模块，用于当接收到目标任务时，在所述目标物理GPU选取目标虚拟GPU，以便利用所述目标虚拟GPU执行所述目标任务；

重定向模块，用于在执行所述目标任务的过程中，当接收到对CUDA函数的调用请求时，将所述调用请求重定向至劫持库；其中，所述劫持库包括多个CUDA函数对应的重名函数，每个所述重名函数的返回值基于所述目标虚拟GPU的信息确定。

其中，还包括：

设置模块，用于确定所述劫持库的文件路径，并将LD_PRELOAD环境变量设置为所述文件路径。