[发明专利]一种GPU共享控制方法、GPU共享控制装置及存储介质

说明书

本发明提供一种GPU共享控制方法、GPU共享控制装置及存储介质。GPU共享控制方法包括：响应于各深度学习任务的启动，将各深度学习任务分为主任务或次任务，主任务的数量不大于一个。确定各深度学习任务的运行阶段信息，运行阶段信息分为占用GPU运行阶段和不占用GPU运行阶段。判断主任务是否处于占用GPU运行阶段。当主任务处于占用GPU运行阶段，控制GPU运行主任务。当主任务不处于占用GPU运行阶段，控制GPU运行次任务。通过本发明提供的方法，能够根据各深度学习任务的运行阶段信息，优先保障当主任务处于占用GPU运行阶段时，能够控制GPU优先主任务，进而保障主任务的Qos。同时，当主任务不处于占用GPU运行阶段时，也可以充分利用GPU算力，提高GPU的利用率。

技术领域

本发明涉及计算机控制技术领域，具体涉及一种GPU共享控制方法、 GPU共享控制装置及存储介质。

背景技术

在人工智能大数据时代，随着数据量的不断增大以及深度学习算法的发展，对算力的需求也越来越高，深度学习任务与GPU的结合应用于各行各业。但在执行深度学习任务的过程中，对GPU算力的需求具有波动性，且根据GPU底层上下文中内核(kernel)的执行逻辑，导致单个深度学习任务往往不能时刻利用GPU的算力，进而造成GPU算力的浪费。

在相关技术中，可以将多个深度学习任务调度到同一个GPU上，采用共享GPU的算力的方式，控制多个深度学习任务在GPU上进行运行，进而提高GPU的算力利用率。但采用该种方式，不仅没有提高GPU集群利用率，还会影响指定(主)任务的服务质量(Quality ofservice，Qos)。目前针对GPU的共享方案，是基于虚拟化技术的硬件方案，由于GPU厂商的底层实现是黑盒，例如NVIDIA，采用此类方案通常需要逆向并修改GPU 的驱动来控制对显存和算力的访问，导致此类方案的实现难度非常大，且与GPU驱动版本耦合性强。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中在进行GPU共享时，GPU算力利用率低，导致算力浪费的缺陷，从而提供一种GPU共享控制方法、GPU共享控制装置及存储介质。

根据第一方面，本发明提供一种GPU共享控制方法，所述方法包括：

响应于各深度学习任务的启动，将各所述深度学习任务分为主任务或次任务，所述主任务的数量不大于一个；

确定各所述深度学习任务的运行阶段信息，所述运行阶段信息分为占用GPU运行阶段和不占用GPU运行阶段；

判断所述主任务是否处于占用GPU运行阶段；

当所述主任务处于占用GPU运行阶段，控制所述GPU运行所述主任务；

当所述主任务不处于占用GPU运行阶段，控制所述GPU运行所述次任务。

在该方式中，能够根据各深度学习任务的运行阶段信息，优先保障当主任务处于占用GPU运行阶段时，能够控制GPU优先主任务，进而保障主任务的Qos。同时，当主任务不处于占用GPU运行阶段时，也可以充分利用GPU算力，提高GPU的利用率。

结合第一方面，在第一方面的第一实施方式中，当所述次任务包括多个时，所述控制所述GPU运行所述次任务，包括：

根据各所述次任务占用GPU运行阶段的先后确定顺序，确定所述GPU 控制运行的第一次任务，所述第一次任务为最先获取到且处于占用GPU运行阶段的次任务；

控制所述GPU运行所述第一次任务。

在该方式中，可以根据确定各次任务占用GPU运行阶段的先后时间顺序，将最先获取到且处于占用GPU运行阶段的次任务确定为GPU需要控制运行的第一次任务，进而控制GPU运行该第一次任务，有助于减少GPU 的空闲时间。

结合第一方面或第一方面的第一实施方式，在第一方面的第二实施方式中，所述方法还包括：