[发明专利]多个GPU动态分配方法及系统

权利要求书

1.一种多个GPU动态分配方法，其特征在于，包括：

依据虚拟GPU设备插件将多个GPU中每一块的显存资源抽象为预设份额，从而将物理GPU进行虚拟化；

获取过滤条件以及绑定条件；

依据过滤条件，过滤出满足调度需求的节点；

依据绑定条件将对应的容器绑定到过滤后的node对应的虚拟化GPU上，并进行节点注释；

依据设备插件对具有节点注释的容器完成对多个GPU的分配；

在对应的具有对具有节点注释的容器中的虚拟化GPU使用完成后，通过NvidiagRPC服务模块的停止功能，停止gRPC 服务并释放相应资源。

2.如权利要求1所述的多个GPU动态分配方法，其特征在于， 所述依据设备插件对具有节点注释的容器完成对多个GPU的分配的步骤包括：

获取当前节点上所有处于等待状态的节点；

过滤出等待状态的节点中有申请资源的节点；

过滤出等待状态的节点中已经被调度程序扩展器进行绑定过的节点；

过滤出还未被分配的节点；

将未分配的节点根据绑定时间进行升序排序；

从未分配的节点中遍历挑选第一个要申请的资源和此次分配传入相等的节点，从而完成对GPU的分配。

3.如权利要求2所述的多个GPU动态分配方法，其特征在于，所述从未分配的节点中遍历挑选第一个要申请的资源和此次分配传入相等的节点，从而完成对GPU的分配的步骤包括：

通过NvidiagRPC服务模块的注册功能，连接kubelet并向kubelet注册该插件；

依据NvidiagRPC服务模块提供启动和停止功能，初始化并启动gRPC服务；

使用分配功能，调用GPU调度程序分配资源并将分配结果设置到容器中，从而完成对GPU的分配。

4.如权利要求1所述的多个GPU动态分配方法，其特征在于，多个GPU动态分配方法还包括：

监控虚拟GPU的使用状况；

依据使用状况清理已经不在存活的虚拟GPU的配置。

5.如权利要求1所述的多个GPU动态分配方法，其特征在于，所述多个GPU动态分配方法还包括

对GPU的显存资源使用进行模式判定，

依据模式判定结果对GPU的显存资源分配结果进行核验。

6.一种多个GPU动态分配系统，其特征在于，包括：

资源定义模块，适于依据虚拟GPU设备插件将多个GPU中每一块的显存资源抽象为预设份额，从而将物理GPU进行虚拟化；

获取模块，适于获取过滤条件以及绑定条件；

过滤模块，适于依据过滤条件，过滤出满足调度需求的节点；

绑定模块，适于依据绑定条件将对应的容器绑定到过滤后的node对应的虚拟化GPU上，并进行节点注释；

分配模块，适于依据设备插件对具有节点注释的容器完成对多个GPU的分配，且在对应的具有对具有节点注释的容器中的虚拟化GPU使用完成后，通过NvidiagRPC服务模块的停止功能，停止gRPC 服务并释放相应资源。

7.一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，其特征在于，所述一个或一个以上的指令由处理器执行时实现权利要求1至5中任一所述的多个GPU动态分配方法。

8.一种电子设备，其特征在于，包括存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器，通过加载并执行所述至少一条程序指令以实现权利要求1-5中任一项所述的多个GPU动态分配方法。