[发明专利]多进程共享的GPU调度方法、系统及电子设备

说明书

本发明提供一种多进程共享的GPU调度方法、系统及电子设备，所述多进程共享的GPU调度方法包括：从同时运行多个相同用户程序的进程池中捕获所述用户程序的某一个内核，并将该内核确定为待调度的内核；获取待调度的内核，根据所述内核的特征确定所述内核的资源分配百分比；根据确定的内核的资源分配百分比向GPU发射所述内核。实现一种基于Volta MPS多进程共享GPU调度策略，利用资源互补策略提升GPU整体吞吐率，通过线下的profile结果决定任务的计算资源分配方式，设计并实现了一种进程池机制，在Volta MPS的基础上可以对进程的GPU计算资源进行动态分配，实现最大化GPU系统的整体吞吐量。

技术领域

本发明涉及处理器技术领域，特别是涉及GPU技术领域。

背景技术

最近机器学习已然成为了一个热门方向，不管是学术领域，还是在工业领域都有占有重要地位。其应用方向也很广泛，比如，医学方面可以用来诊断疾病，药物生产等；刑侦领域利用人脸识别技术追踪嫌疑犯；银行可以利用机器学习技术检测信用卡欺诈行为；语音文字识别。机器学习离不开大数据的支持，普通的GPU(Graphics Processing Unit，图形处理器)已经不能满足性能和TCO(Total Cost of Ownership，总拥有成本)的需求，机器学习往往会利用加速器来弥补这些不足，其中GPU是常用的加速器之一。之所以GPU可以做为机器学习的加速器，主要原因是GPU采用SIMD(Single Instruction Multiple Data，单指令多数据流)的架构，更擅长处理对大数据的简单重复操作。尽管如此，复杂的深度模型训练仍然耗时严重，因此关于GPU上机器学习训练任务的效率性能提升等问题的研究也越来越重要。

如果单独一个程序独占GPU，往往是不能占满GPU资源的，因为一般来说单个程序是占不满整个GPU资源的。为了提高GPU利用率可以同时跑多个GPU程序，在Nvidia(英伟达)提出Volta架构之前，多程序共享GPU只能时分的共享，通过先来先服务的方式对GPU上的kernel任务进行调度。在Volta架构出现后，利用Nvidia提供的MPS(Multi-ProcessService，多进程服务)可以进一步实现空间上共享GPU。Volta MPS旨在通过减少任务的上下文切换、解决Block(线程块)或Thread(线程)数量过少造成的资源浪费来提升GPU的整体吞吐率，但它不会考虑GPU上多任务的资源竞争问题，这些资源包括GPU计算资源，L2-cache(GPU的二级缓存)，访存带宽等。不同程序对GPU资源的需求不同，有计算密集型任务，有访存密集型任务，可以利用这些任务对资源需求的不同，合理重分配资源以达到资源互补从而提高整体吞吐率。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多进程共享的GPU调度方法、系统及电子设备，用于提高GPU资源的利用率和GPU的吞吐率。

为实现上述目的及其他相关目的，本发明提供一种多进程共享的GPU调度方法，包括：从同时运行多个相同用户程序的进程池中捕获所述用户程序的某一个内核，并将该内核确定为待调度的内核；获取待调度的内核，根据所述内核的特征确定所述内核的资源分配百分比；根据确定的内核的资源分配百分比向GPU发射所述内核。

于本发明的一实施例中，获取所述内核的特征的一种实现方式包括：在GPU的CUDA运算程序运行之前，对所述CUDA运算程序预先进行Profile配置；通过CUDA内核分析工具NVIDIA Nsight Compute获取所述内核的特征。

于本发明的一实施例中，所述确定所述内核的资源分配百分比的一种实现方式为：内核的资源分配百分比满足以下条件：p₁+p₂+...+p_n＝100；其中，p₁,p₂...p_n分别表示为用户程序1的资源分配百分比，用户程序2的资源分配百分比，用户程序n的资源分配百分比，n表示为用户程序的数量，表示第n个用户程序资源分配百分比为p时吞吐率SM的大小。