[发明专利]一种基于Kubernetes集群GPU空间共享的方法

说明书

本发明公开了一种基于Kubernetes集群GPU空间共享的方法，涉及计算机技术领域，针对当前数据处理集群中GPU资源利用率低的问题，提出了关于GPU显存与活跃线程相结合的打分规则，并为了能够有效调度GPU资源，在集群中添加了Scheduler Extender和Device Plugin，进一步改变了以往调度策略中的静态调度方案，使用改进的蚁群算法，能够有效提高集群资源利用率，降低企业使用成本，提高效益。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于Kubernetes集群GPU资源实现共享的方法。

背景技术

伴随着网络技术的发展和进步，网络中的数据量产生了爆发式增长，数据背后往往隐藏着巨大的价值，如何快速得对数据进行处理，是当前的热点问题。出现的解决方案大致有如下两个方面：

一个是利用GPU。之前，人们将CPU的构造成类似人类的大脑的模样，适合逻辑处理和串行计算，也适合多任务并行处理，因此人们也习惯使用CPU对数据进行计算。但是在GPU的架构上，对于处理并行计算单元SM数目，GPU却比CPU数目多得多。之后处理数据过程中，工程师们也逐渐注意到GPU在处理并行数据方向上的强大能力。2006年，NVIDIA公司发布了CUDA，CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。

一个是云计算集群。近年来，云计算系统和服务的普及和发展呈指数级增长。云计算服务作为一种新兴的、混合的计算范式，正在成为商业、个人和移动计算应用程序的主要计算能力，通常部署在分布式虚拟化基础设施上。随着虚拟化技术和容器技术的发展，云服务的使用变得更加简单省事，因为容器更加轻量级的特点，原来的虚拟机技术逐渐被取代。容器技术有很多种，但当前Docker技术几乎是容器的绝对主流。Kubernetes是谷歌开发的一个容器编排工具，它的前身是谷歌内部使用多年的搏格系统，所以Kubernetes在公开之初它的架构和技术就较为成熟，就受到云计算行业内的普遍关注，并且快速变成编排工具市场的主流。通过使用以Kubernetes为基础的分布式云计算集群平台，加快了数据的处理速度，相比于使用个人计算机或传统集群，云集群在很大一定程度上提高了任务的部署和执行效率。

所以将二者结合起来，是当前社会的普遍选择，但是有一个很大的问题摆在用户或企业面前。由于现在大部分集群中基本上是一个Docker或容器完全独占一张GPU卡，而随着GPU版本的迭代更新，GPU资源也愈来愈昂贵，因此不仅造成资源浪费，而且使用成本也急剧上升。如何实现GPU共享成为当前的热点话题。

专利公布号为CN111506419A专利名称为一种GPU资源共享方法及装置，提出了一种方法，包括比较虚拟机的GPU物理资源需求与资源池内未分配资源；若资源池内未分配资源不满足虚拟机的GPU物理资源需求，则根据已分配给虚拟机的GPU物理资源利用率调整已分配给虚拟机的GPU物理资源，并根据调整后的资源池内未分配资源向虚拟机分配GPU物理资源；否则，根据虚拟机的GPU物理资源需求向虚拟机分配GPU物理资源。该发明中未明确GPU物理资源的种类，应用到实际中该方法可能会不适用，另外该方法仍旧使用的虚拟机技术，使用时在系统层面上会占用很多资源。