[发明专利]一种GPU资源池调度系统及方法

权利要求书

1.一种GPU资源池调度系统，其特征在于，包括GPU云算力中心和GPU云控制节点，

所述GPU云算力中心包括多个GPU算力单元，每个GPU算力单元包括虚拟机监控器VMM和资源收集器RC，所述GPU云控制节点包括资源调度器RS；

所述GPU算力单元用于提供GPU的算力；

所述虚拟机监控器VMM用于提供控制接口并接收所述资源调度器RS发出的资源调度指令，根据指令创建虚拟机，给虚拟机分配vGPU资源并启动所述虚拟机；

所述资源收集器RC用于统计所述GPU算力单元的资源数据并上报至所述资源调度器RS；

所述资源调度器RS用于收集各个资源收集器RC上报的资源数据，并向各个虚拟机监控器VMM发送资源调度指令，在全局调度GPU算力单元的资源，包括将GPU资源进行集合以形成多组GPU硬件集合，所述多组GPU硬件集合组成GPU资源池，并根据用户需求将其中一组GPU硬件集合分配给用户使用。

2.根据权利要求1所述的GPU资源池调度系统，其特征在于，所述GPU硬件集合支持的资源分配方式包括共享调度方式和独享调度方式。

3.根据权利要求1所述的GPU资源池调度系统，其特征在于，所述资源调度器RS还用于进行以下资源调度操作中的一个或多个：

(1)将各资源收集器RC上报的GPU型号统计收集，形成全局的GPU硬件资源概览；

(2)将各资源收集器RC上报的支持的虚拟化方式统计收集，确定各GPU可用的虚拟化方式；

(3)将各资源收集器RC上报的资源使用率统计收集，形成全局的GPU资源使用情况概览；

(4)GPU任务分时调度；

(5)GPU负载自动均衡。

4.根据权利要求2所述的GPU资源池调度系统，其特征在于，所述共享调度方式包括：

1)资源调度器RS向虚拟机监控器VMM发起创建虚拟机请求，虚拟机监控器VMM创建超过实际分配资源数量的虚拟机，并设定所述虚拟机使用指定型号的vGPU；所述虚拟机创建后默认为关机状态；

2)当通过虚拟机监控器VMM的控制接口执行虚拟机开机操作时，如果GPU硬件集合中存在设定为共享调度方式的指定型号vGPU，则资源调度器RS在所述GPU硬件集合中寻找具有未分配的指定型号vGPU资源的GPU算力单元，然后向所述GPU算力单元的虚拟机监控器VMM发送指定型号vGPU分配和启动虚拟机命令；如果所述GPU硬件集合中不存在未分配的指定型号vGPU，则提示用户资源不足，虚拟机启动失败；

3)使用共享调度方式vGPU资源的虚拟机关机后，释放该虚拟机使用的共享vGPU资源。

5.根据权利要求2所述的GPU资源池调度系统，其特征在于，所述独享调度方式包括：

1)资源调度器RS向虚拟机监控器VMM发起创建虚拟机请求，虚拟机监控器VMM创建不超过实际分配资源数量的虚拟机，并设定所述虚拟机使用指定型号的vGPU；虚拟机创建后默认为运行状态；

2)虚拟机监控器VMM执行所述虚拟机创建时，如果GPU硬件集合中存在设定为独享调度方式的指定型号vGPU，则资源调度器RS在所述GPU硬件集合中寻找具有未分配的指定型号vGPU资源的GPU算力单元，然后向所述GPU算力单元的虚拟机监控器VMM发送指定型号vGPU分配和虚拟机启动命令；如果所述GPU硬件集合中不存在未分配的指定型号vGPU，则提示用户资源不足，上述虚拟机的创建失败；

3)使用独享调度方式vGPU资源的虚拟机删除后，释放该虚拟机使用的独享vGPU资源。

6.根据权利要求2所述的GPU资源池调度系统，其特征在于，当采取共享调度方式时，还设置启用次优调度；所述次优调度包括厂商次优调度、GPU架构次优调度和全部次优调度；所述厂商次优调度为指定型号vGPU的相同厂商的其它型号vGPU的次优调度；所述GPU架构次优调度为指定型号vGPU的相同厂商、相同架构的其它型号vGPU的次优调度；所述全部次优调度为任意厂商、架构的其它型号vGPU的次优调度。