[发明专利]一种基于Kubernetes集群的GPU分时共享方法和系统

说明书

本发明涉及一种基于Kubernetes集群的GPU分时共享方法和系统。该方法包括：在Kubernetes集群的工作节点中设置前端模块，所述前端模块是安装在容器内部的GPU设备库，所述GPU设备库通过拦截CUDA库中所有与内存和计算相关的API来调度GPU在任务中的使用；在Kubernetes集群的工作节点中设置后端模块，所述后端模块管理容器间的令牌及令牌的时间配额，通过令牌及其时间配额实现GPU的分时共享。本发明提出了关于GPU分时共享规则，在镜像中加入GPU设备库作为前端，在节点中加入后端模块进行控制，能够保证节点中多个容器之间的任务执行的安全性和公平性。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于Kubernetes集群GPU资源实现分时共享的方法和系统。

背景技术

近年来，信息化技术日新月异，互联网相关技术更是以前所未有的速度走向成熟，使得我们的日常生活及工作越来越依赖于计算机了；同时这些技术的飞速发展，使得当今社会对于计算服务的质和量的需求日益加高加大。然而，那些传统的计算模式却不能适应现在的这种需求了，这自然而然就会出现新的计算模式来替代它们。云计算(CloudComputing)就是其中的代表，它作为一种全新的互联网式计算模型出现于公众的视野之中，可以说是现代科学技术领域的重大变革。云计算被视为继互联网之后的下一代网络，俨然成为了以后IT技术研究的核心。

从云计算技术应用以来，硬件的性能的优化，软件计算的网络化，使得云计算技术快速成长起来。云计算技术也越来越受到各大大中型互联网公司的关注。

随着虚拟化技术和容器技术的发展，云服务的使用变得更加简单省事，因为容器更加轻量级的特点，原来的虚拟机技术逐渐被取代。容器技术有很多种，但当前Docker技术几乎是容器的绝对主流。Kubernetes是谷歌开发的一个容器编排工具，它的前身是谷歌内部使用多年的搏格系统，所以Kubernetes在公开之初它的架构和技术就较为成熟，就受到云计算行业内的普遍关注，并且快速变成编排工具市场的主流。通过使用以Kubernetes为基础的分布式云计算集群平台，加快了数据的处理速度，相比于使用个人计算机或传统集群，云集群在很大一定程度上提高了任务的部署和执行效率。

云计算技术不断发展，云计算的规模越来越大，使用云计算的用户越来越多，需要处理的各类任务也越来越多。如何合理高效地分配这些任务到合适的计算资源，影响着云计算的整体效率和服务质量。在共享的GPU上执行任务时，当一个任务在GPU上执行时，所有后续的任务都需要等待其完成才能执行，这样会导致任务执行的公平性。作为集群核心资源，随着版本的迭代更新，GPU资源也愈来愈昂贵，如何在资源共享的同时，既能够在任务之间安全、合理地共享，同时提高集群资源利用率成为当前的热点话题。

专利公布号为CN111506404A，专利名称为一种基于Kubernetes的共享GPU调度方法，提出了共享GPU调度方法，包括以下步骤：步骤1：GPU信息上报与统计；步骤2：共享 GPU给多个Pod使用。该基于Kubernetes的共享GPU调度方法，与Kubernetes支持GPU独占调度相比增加了共享调度的能力，并且支持多种调度策略，满足不同场景下的GPU使用需求。该方法结合Kubernetes和GPU达到充分利用GPU资源、合理利用GPU资源的目的， Kubernetes可以是多个节点，每个节点可以有也可以没有显卡；使用Kubernetes的API创建资源并添加GPU显存资源请求；Kubernetes收到GPU显存资源申请发送请求给GPU调度插件，调度插件调度该Pod到有GPU显存配额足够的节点并标注GPU ID；最终多个Pod运行在一个GPU上，实现共享GPU。该发明中未明确GPU物理资源的种类，应用到实际中该方法可能会不适用，另外该方法仍旧使用的虚拟机技术，使用时在系统层面上会占用很多资源。