[发明专利]协作式工作窃取调度器

说明书

一种在具有中央处理单元(CPU)和图形处理单元(GPU)的计算系统中使用的方法，该方法包括：将第一存储器部分和第二存储器部分指派给：工作窃取调度器的工作者线程以及作为GPU一部分的执行单元；从与工作者线程相关联的队列取回任务；由工作者线程检测是否满足任务的截止条件；当不满足截止条件时，将任务划分成两个或更多个附加任务，并将两个或更多个附加任务添加到队列；当满足截止条件时，将与任务相对应的第一数据存储在第二存储器部分中，发出存储器栅栏获取指令；以及将第一值存储在第一存储器部分中。

背景技术

GPU设备针对计算吞吐量而不是响应时间(即，延时)进行了优化。GPU架构和相关联软件中的传统设计选择面向高持续吞吐量的算术运算。特别是，GPU具有相对较小且简单的高速缓存和软件管理的暂存存储器，其最大化了大量算术逻辑单元(ALU)的芯片空间，以用于并行处理海量数据集。但是，当前GPU的批量同步编程模型限制了它们在托管需要一定级别任务调度的灵活应用方面的适用性。已知的GPU调度策略是在硬件中定义的，并且不允许在GPU多处理器上的手动算法放置。例如，在相同的多处理器上运行需要多处理器同步的应用(例如，生产者-消费者模式)可能会导致死锁。在传统系统中，也很难为处理任务提供这样的环境：其中，类似的任务可以在同一多处理器上共同调度以从局部性中受益，例如更好地利用本地GPU高速缓存。

来自NVIDIA公司的计算统一设备架构(Compute Unified Device Architecture，CUDA)框架提供了在GPU上启动协作线程网格的能力，其可以通过GPU本身上的全局屏障进行同步(不必与CPU上的屏障同步)。此功能允许用户将内核流水线(即，GPU程序)调度到GPU。然而，现成的GPU调度器仍然以未定义的方式在整个GPU设备上调度线程块，这阻止了在GPU多处理器上手动放置线程块。此限制可能未充分利用GPU资源。

发明内容

在一个实施例中，提供了一种在具有中央处理单元(CPU)和图形处理单元(GPU)的计算系统中使用的方法，该方法包括：将第一存储器部分和第二存储器部分指派给：(i)在所述CPU上执行的工作窃取调度器的工作者线程和(ii)作为所述GPU的部分的执行单元；从与所述工作者线程相关联的队列取回任务；由所述工作者线程检测是否满足所述任务的截止条件(cutoff condition)；当不满足所述截止条件时，将任务划分成两个或更多个附加任务，并将两个或更多个附加任务添加到所述队列中。

在一个实施例中，第一存储器部分包括门铃寄存器，并且第二存储器部分包括任务寄存器。

在一个实施例中，执行单元包括多个GPU核心和在多个GPU核心之间共享的同步机制。

在一个实施例中，第一数据包括与所述任务相对应的操作码和用于执行所述任务的实参(argument)中的一个或多个。

在一个实施例中，该方法还包括：当由执行单元将第二值存储在所述第一存储器部分中时，检测到所述任务已完成，所述检测由所述工作者线程执行。

在一个实施例中，该方法还包括：从所述第二存储器部分取回由所述执行单元作为执行所述任务的结果而生成的第二数据，所述第二数据由所述工作者线程响应于检测到第二值已被所述执行单元存储在所述第一存储器部分中而被取回。

在一个实施例中，该方法还包括：从所述第二存储器部分取回所述第一数据，所述第一数据由所述执行单元响应于检测到所述第一值已被所述工作者线程存储在所述第一存储器部分中而由执行单元取回；以及执行所述任务，所述任务由所述执行单元基于所述第一数据而执行。

在一个实施例中，该方法还包括：在所述第二存储器部分中存储由所述执行单元作为执行任务的结果而生成的第二数据；在所述第二数据存储在所述第二存储器部分后发出存储器栅栏释放指令(memory fence release instruction)；以及在所述第一存储器部分中存储指示所述任务完成的第二值，所述第二值由所述执行单元在所述存储器栅栏释放指令被发出后存储。