[发明专利]一种GPU资源池调度系统及方法

说明书

本发明公开了一种GPU资源池调度系统，包括GPU云算力中心和GPU云控制节点，GPU云算力中心包括多个GPU算力单元，每个GPU算力单元包括VMM和RC，GPU云控制节点包括RS；GPU算力单元用于提供GPU的算力；VMM用于提供控制接口并接收RS发出的资源调度指令，根据指令创建虚拟机，给虚拟机分配vGPU资源并启动虚拟机；RC用于统计GPU算力单元的资源数据并上报至RS；RS用于收集各个RC上报的资源数据，并向各个VMM发送资源调度指令，在全局调度GPU算力单元的资源，包括将GPU资源进行集合以形成多组GPU硬件集合，多组GPU硬件集合组成GPU资源池；该系统实现了云计算平台中对多种厂商、GPU型号、GPU虚拟化方式的统一资源池调度管理；本发明还公开了一种GPU资源池调度方法。

技术领域

本发明涉及云计算资源管理技术领域，具体涉及一种GPU资源池调度系统及方法。

背景技术

随着GPU的通用化，数据中心对GPU的使用日益增长，在图形图像渲染以及并行计算、人工智能领域都有着非常重要的用途；数据中心的重要要素主要是计算、存储和网络；随着云计算的深入发展，如何更有效的在数据中心管理GPU资源已经变得非常重要。

云计算的各个组件中以及计算部分通常需要使用虚拟化技术，虚拟化技术包括CPU和GPU的虚拟化技术，通过虚拟化的硬件屏蔽物理硬件的细节，从而可以更灵活的使用物理资源；而计算部分通常含有CPU、GPU、FPGA、ASIC等硬件的算力，随着GPU通用化发展，数据中心的图形渲染、并行计算和人工智能等场景得到极大的进步，同时GPU虚拟化技术的出现使得数据中心GPU资源的管理也更加方便，但对于GPU虚拟化技术发展也提出了更高的要求。

GPU虚拟化的定义是使虚拟机中可以使用GPU的资源进行图形渲染或通用计算的技术；虚拟机获得GPU的运算能力后，即可在云上运行与GPU相关的负载，例如桌面虚拟化、云游戏、科学计算、人工智能等场景；目前实现GPU虚拟化的技术通常有API转发、GPU直通、GPU完全虚拟化和SR-IOV；由于API转发存在需要分别针对DirectX、OpenGL、Vulkan、CUDA、OpenCL的不同版本逐一实现、软件复杂度高、性能损失较大和限制较多等缺陷；主要使用直通、完全虚拟化和SR-IOV这三种GPU虚拟化技术。

GPU直通(Pass Through)简称PT，通过IOMMU硬件对GPU物理设备的MMIO、DMA和中断等资源进行重映射，使得虚拟机对GPU有完全的访问；该技术的性能损失非常小，技术兼容性较好，支持市场上常见的GPU，但其还是存在每个虚拟机需要至少1个物理GPU硬件，无法做到对GPU硬件资源的切分的缺陷。

GPU完全虚拟化(Mediated Pass Through)，简称MPT，通过Hypervisor虚拟化一个具有完整GPU功能的虚拟GPU（vGPU），在物理机中实现虚拟机对vGPU资源访问的分配和调度，使得虚拟机可以使用到GPU的硬件资源；支持完全虚拟化技术主要有Intel和NVIDIA，该技术既可以切分GPU的资源，也可以有较高的虚拟GPU性能，但其存在各GPU厂商实现不一，且需要专用的GPU硬件的缺陷。

SR-IOV，简称SRIOV，通过PCI总线的SR-IOV标准，提供多个VF（Virtual Function）给虚拟机使用，在GPU硬件内部进行VF的资源调度；支持SR-IOV技术厂商主要有AMD，该技术既可以切分GPU的资源，也可以有较高的虚拟GPU性能，但其存在各GPU厂商实现不一，需要专用的GPU硬件，且对服务器也有较高要求等缺陷。