[发明专利]基于kubernetes的GPU共享方法、装置、设备及介质

权利要求书

1.一种基于kubernetes的GPU共享方法，其特征在于，所述基于kubernetes的GPU共享方法包括：

通过在内核层配置的第一插件监听每个GPU设备的资源占用信息，并通过在用户层配置的第二插件将每个GPU设备的资源占用信息记录至预设文件；

根据所述预设文件检测是否有GPU设备处于空闲状态；

当检测到有GPU设备处于空闲状态，且有目标docker请求GPU资源时，将所述GPU设备确定为目标GPU设备，并利用所述kubernetes的device-plugin插件将所述目标GPU设备作为扩展资源上报至kubelet；

通过所述kubelet上报所述目标GPU设备至所述kubernetes，并将所述目标GPU设备映射至所述目标docker进行使用；在将所述目标GPU设备映射至所述目标docker进行使用后，还包括：获取所述目标GPU设备处于所述空闲状态时所属的docker作为初始docker；当检测到所述初始docker请求使用所述目标GPU设备的GPU资源时，解除所述目标docker对所述目标GPU设备的占用，并将所述目标GPU设备的GPU资源返还至所述初始docker；

其中，所述第二插件用于处理来自所述内核层的事件，并回复所述内核层是否可以打开并使用所述目标GPU设备，包括：当检测到所述目标GPU设备处于低优占用，但被高优占用的所述目标docker请求时，结束低优占用进程，通知上层异步回收容器，并回复所述内核层可以打开并使用所述目标GPU设备；当检测到所述目标GPU设备处于高优占用时，且被高优占用的所述目标docker请求时，记录所述目标GPU设备被高优占用，并回复所述内核层可以打开并使用所述目标GPU设备；当检测到所述目标GPU设备处于高优占用，但被低优占用的所述目标docker请求时，通知上层异步回收容器，并回复所述内核层拒绝打开并使用所述目标GPU设备；当检测到所述目标GPU设备处于低优占用时，且被低优占用的所述目标docker请求时，记录所述目标GPU设备被低优占用，并回复所述内核层可以打开并使用所述目标GPU设备；其中，所述高优占用是指占用所述目标GPU设备的资源时具有高优先级，所述低优占用是指占用所述目标GPU设备的资源时具有低优先级。

2.如权利要求1所述的基于kubernetes的GPU共享方法，其特征在于，所述GPU设备的资源占用信息包括该GPU设备的打开事件及关闭事件；

所述通过配置的第一插件监听每个GPU设备的资源占用信息，并将每个GPU设备的资源占用信息记录至预设文件包括：

通过所述第一插件的预设开关控制是否监听每个GPU设备的资源占用信息；

当通过所述预设开关控制监听每个GPU设备的资源占用信息时，通过所述第一插件监听每个GPU设备的打开事件及关闭事件；

获取所述打开事件的进程ID，及获取所述关闭事件的进程ID，并通过所述第一插件将所述打开事件的进程ID及所述关闭事件的进程ID发送至所述第二插件；

通过所述第二插件将每个GPU设备的资源占用信息记录至所述预设文件，其中，每个GPU设备的资源占用信息包括所述打开事件的进程ID及所述关闭事件的进程ID。

3.如权利要求2所述的基于kubernetes的GPU共享方法，其特征在于，在通过所述第一插件将所述打开事件的进程ID及所述关闭事件的进程ID发送至配置的第二插件前，所述方法还包括：

向所述第一插件注册所述第二插件。

4.如权利要求1所述的基于kubernetes的GPU共享方法，其特征在于，所述根据所述预设文件检测是否有GPU设备处于空闲状态包括：

当根据所述预设文件中的记录检测到有GPU设备被任意docker占用，且在预设时长内未被使用时，确定检测到的GPU设备处于所述空闲状态。