[发明专利]一种基于Kubernetes集群的GPU分时共享方法和系统

权利要求书

1.一种基于Kubernetes集群的GPU分时共享方法，其特征在于，包括以下步骤：

在Kubernetes集群的工作节点中设置前端模块，所述前端模块是安装在容器内部的GPU设备库，所述GPU设备库通过拦截CUDA库中所有与内存和计算相关的API来调度GPU在任务中的使用；

在Kubernetes集群的工作节点中设置后端模块，所述后端模块管理容器间的令牌及令牌的时间配额，通过令牌及其时间配额实现GPU的分时共享。

2.根据权利要求1所述的方法，其特征在于，容器只有在持有有效的令牌时才能在GPU上执行其代码；令牌与时间配额相关联，当时间配额超过规定的期限时，容器必须重新获取令牌才能执行。

3.根据权利要求1所述的方法，其特征在于，所述后端模块跟踪每个容器的GPU使用时间，并确定下一个令牌的时间配额，来实现容器之间令牌合理地调度；容器的GPU使用率通过在滑动窗口的时间范围内持有的有效令牌的时间配额来计算。

4.根据权利要求1所述的方法，其特征在于，所有来自前端模块的令牌请求都在后端模块中排队等待处理；当令牌自身过期无效时，后端模块从队列中选择一个请求，并将令牌发放给该请求的容器。

5.根据权利要求4所述的方法，其特征在于，所述后端模块从队列中选择一个请求，包括：

首先，从GPU使用率已经超过其最大使用需求的容器中过滤请求，然后从GPU使用率离最小使用需求相差最大的容器中选择一个请求。

6.根据权利要求4所述的方法，其特征在于，如果所有请求令牌的容器都已经达到最低使用需求，则所述后端模块将令牌传递给当前GPU使用率最低的那个容器。

7.根据权利要求1所述的方法，其特征在于，采用以下步骤进行集群任务调度：

第一步：使用适当数目的节点构建GPU共享集群，节点上安装后端模块；

第二步：用户使用YAML文件，通过kubectl应用向集群中提交Pod信息，Pod中使用的镜像里应包含GPU设备库，即前端模块；提交时，集群会判断提交内容的格式是否符合集群特征，若不符合则反馈给用户；若符合则进入下一步；

第三步：API Server接收到Pod信息后，将其存储到Etcd中，并准备对这些Pod进行节点调度；

第四步：调度器Scheduler根据Pod所需的其他调度资源对符合条件的节点进行过滤之后，利用集群中对GPU显存资源进行管理和调度的调度插件，根据其规则对Pod的调度方案进行规划，形成预分配方案；

第五步：按照该预分配方案执行，将待执行Pod与节点通过调度器Scheduler进行绑定，将绑定信息写入Etcd中；

第六步：若Pod没有在节点成功运行，则重新进入第四步；

第七步：循环第一步至第六步，直到待调度任务列表为空；

第八步：节点上的后端模块开启，对在GPU节点上运行的Pod根据每个容器的GPU使用率使用令牌进行规划调度；

第九步：重复第二步至第八步，直到Pod运行结束。

8.一种采用权利要求1～7中任一权利要求所述方法的基于Kubernetes集群的GPU分时共享系统，其特征在于，包括设置在Kubernetes集群的工作节点中的前端模块和后端模块；所述前端模块是安装在容器内部的GPU设备库，所述GPU设备库通过拦截CUDA库中所有与内存和计算相关的API来调度GPU在任务中的使用；所述后端模块管理容器间的令牌及令牌的时间配额，通过令牌及其时间配额实现GPU的分时共享。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。