[发明专利]一种基于GPU空间资源共享的任务调度方法

说明书

本公开提供了一种基于GPU空间资源共享的任务调度方法，涉及GPU任务调度的技术领域，启动一个新的任务，如果没有正在运行的任务，新任务将以独占模式启动；如果当前正在执行第一任务，根据性能模型和截止时间动态调整第一任务和新任务的资源使用；根据输出的每个时钟周期执行的指令数分派新任务，实现了高GPU资源利用率下的软实时调度，本公开解决了现有的并行GPU任务执行和资源共享的工作无法支持抢占式实时调度的问题，确保在GPU资源能够在并发任务之间以最大限度共享的同时，能够满足高优先级任务的截止时间；并发任务可以在单个SM上并行执行，以实现更好的GPU资源利用率。

技术领域

本公开涉及GPU任务调度的技术领域，涉及一种基于GPU空间资源共享的任务调度方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

AI(Artificial Intelligence，人工智能)和大数据时代，对于高端嵌入式系统和大规模并行数据密集型工作负载，GPU(Graphics Processing Unit，图形处理单元)已经成为一种很有前途的架构选择。

然而，现有的嵌入式GPU不支持基于优先级的抢占，这对于GPU实时嵌入式系统来说是一个非常大的障碍。同时，为了满足严格的功率限制，高效的 GPU资源管理也是至关重要的。新兴智能嵌入式和边缘计算系统往往需要高计算能力和实时任务处理能力。GPU体系结构已成为越来越受欢迎的选择，它使得数据密集型应用程序大规模并行执行。有许多现成的嵌入式GPU平台包括 NVIDIA Jetson系列和PX系列被用来建立人工智能机器人系统、自动车辆和无人驾驶飞机。

然而普通GPU不支持基于优先级的抢占式调度。许多文献研究了实时GPU 的调度问题，以使基于GPU的嵌入式系统在设计层面上能够满足实时要求。有研究通过嵌入式GPU设备的时间共享机制，在NVIDIA GPU驱动程序中提出了一种抢占式的EDF调度器原型。日前，基于软件的抢占机制已被提出，使其能在普通GPU上支持灵活的任务抢占和调度，其中GPU的任务代码转换支持运行时中断和抢占。

本公开发明人发现，上述工作关注的重点是并行GPU任务的抢占机制和调度。在另一方面，由于GPU本身对功耗的要求很高，因此高效利用GPU资源对具有功耗约束的嵌入式系统设计至关重要。NVIDIA GPU支持基于时间分割的调度器以及先进先出的多进程服务。最近的研究工作发现，将一系列SM (Streaming Multiprocessor，流处理器)分配给独立的任务，或者在多个任务之间共享单个SM，这会进一步改进并行任务执行。然而，现有的并行GPU任务执行和资源共享的工作无法支持抢占式实时调度。

发明内容

为了解决现有技术的不足，本公开提供了一种基于GPU空间资源共享的任务调度方法，在运行时处理任务调度和资源分配，实现了高GPU资源利用率下的软实时调度。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于GPU空间资源共享的评估方法。

一种基于GPU空间资源共享的评估方法，包括以下步骤：

获取GPU的当前工作状态，预处理后得到支持GPU任务抢占和空间资源共享的GPU工作模式；

采用马尔可夫链计算当前流处理器的状态，得到马尔可夫链的稳定状态向量；

根据稳定状态向量，得到任务在运行期间处于计算状态的概率；

在资源共享模式下，根据任务在运行期间处于计算状态的概率，得到在每个流处理器上分配预设个数的线程块时，每个时钟周期执行的指令数；

将所有可能的资源分配方案下并行执行任务时，每个时钟周期执行的指令数作为评估结果输出并存储，用于运行时做出资源分配决策。