[发明专利]GPU任务调度方法及系统

说明书

本发明提供一种GPU任务调度方法及系统，所述系统包括：应用分析模块，用于获取应用程序的各个kernel的指令数；动态任务调度模块，用于判断当前运行的kernel数量是否达到预设的上限值，若否，则从被抢占的kernel以及新到达的kernel中挑选与当前运行的kernel组合形成kernel组合优先级最高的kernel，若是，则继续判断被抢占的kernel和新到达的kernel中是否存在与当前运行kernel进行组合得到更高优先级的kernel组合，若是，则继续判断抢占程序后的GPU性能提升是否大于抢占过程所占用的GPU开销，若是，则进行抢占。本发明有效降低延迟，提高资源利用率，提高GPU的性能。

技术领域

本发明涉及处理器技术领域，特别是涉及GPU技术领域，具体为一种GPU任务调度方法及系统。

背景技术

随着互联网用户的快速增长，数据量的急剧膨胀，数据中心对计算的需求也在迅猛上涨。诸如深度学习在线预测、视频转码以及图片压缩解压缩等各类新型应用的出现对计算的需求已远远超出了传统CPU处理器的能力所及。GPU等有别于CPU的新型处理器的出现为数据中心带来了巨大的体系结构变革。

传统的高性能计算集群通过MPI等方式作为主要通信方式，利用队列系统让每个任务独占式地享用集群中的资源。相对于高性能计算集群中的独占式访问，数据中心需要同时为多个用户提供服务。因此为了提高数据中心的利用率，用户往往需要共享数据中心中的计算资源。另外，在实际环境中，不同的用户会有不同的应用请求服务，且不同的服务请求到达的时间也各不相同，在此情况下，如何有效地解决资源的竞争和共享成为了提高数据中心资源的利用率的关键。动态任务调度就是最常见的共享计算资源的解决方案。

对于多任务共享CPU以及CPU的任务调度，研究人员已经进行了大量的研究。而对于GPU，由于其产生之初便是为了高性能计算的独占式服务而设计的，因此其原本的硬件架构并不支持多任务共享GPU。GPU kernel是一段在GPU上执行的代码。当调用GPU计算时，需要从CPU端将kernel和对应的输入参数传递到GPU上。Kernel可以并发执行，目前，用户可通过定义可并行的kernel stream来实现kernel的并发执行。Stream可理解为一堆异步的操作，同一stream中的操作有严格的执行顺序，而不同stream之间则没有该限制。利用不同stream异步执行的特性，就可以通过协调不同stream来提高资源的利用率。从软件角度来看，不同stream中的不同操作可以并行执行，但在硬件角度却不一定如此。Kernel并行的程度依赖于PCIe接口的带宽以及kernel在每个Streaming Multiprocessor(SM)中可获得的资源，在资源不足的情况下，stream仍然需要等待其他的stream完成执行才能开始执行。因此，多任务共享GPU需要打破现有GPU硬件框架的限制。意识到该问题，学术界和工业界均开始重视起GPU的硬件级共享以及抢占支持。

CPU上的抢占式多任务是通过上下文切换实现的，上下文切换引入的额外的延迟和吞吐量损失对于CPU来说是完全可以接收的。而对于GPU来说，由于GPU架构以及相关特性与CPU存在较大的差异，在GPU上实现抢占式多任务将会引入相对CPU上大得多的额外开销。仅对于一个SM来说，上下文切换可能会涉及到近256KB大小的寄存器以及48KB的共享内存的内容切换。而目前GPU的性能在很大程度上受到内存带宽的限制，由于内存请求引入的延迟过大，即使GPU的多线程计算能力也无法完全掩盖内存延迟所带来的影响。考虑到内存请求对GPU性能的整体影响，在设计调度算法时也不能忽视调度算法所引起的额外的内存请求。

现有技术中，一种方式是Chimera通过将不同的SM划分给不同的kernel实现多kernel共享一个GPU。另外，Chimera针对不同的应用场景提出了以下三种不同的抢占策略：

1.Context switching：即通过把一个SM上的正在运行的thread block(TB)的上下文保存到内存里，并发射一个新的kernel来抢占当前SM。