[发明专利]用于异构计算系统中的工作窃取的方法和设备

说明书

工作窃取器设备包含确定模块。确定模块确定从第一类型的第一硬件计算单元窃取工作用于不同于第一类型的第二类型的第二硬件计算单元。该工作在第一工作队列中排队，第一工作队列对应于第一硬件计算单元并且将被存储在由第一和第二硬件计算单元共享的共享存储器中。同步工作窃取器模块通过对第一工作队列的同步存储器存取来窃取工作。同步存储器存取将相对于对来自第一硬件计算单元的第一工作队列的存储器存取同步。

版权通告

本文包含的是受到版权保护的材料。当它出现在专利和商标局专利文件或记录中时，版权拥有者不反对任何人复制该专利公开，但无论如何在其它方面保留对版权的所有权利。

技术领域

本文描述的实施例一般涉及异构计算系统。具体地说，本文描述的实施例一般涉及异构计算系统中的工作窃取。

背景技术

计算机除了部署为中央处理单元(CPU)的通用处理器之外还经常具有一个或多个硬件加速器装置。此类硬件加速器装置的一个广泛使用的示例是图形处理单元(GPU)。GPU传统上已经用作主要驱动一个或多个显示器的图形子系统的一部分。GPU帮助从CPU卸载工作，由此允许CPU资源用于其它任务。CPU通常实现为通用处理器，并且一般将适合于执行各种不同类型的算法(例如一般性质的处理)。相比之下，GPU经常实现为专用处理器或至少更专业化的处理器，其一般更适合于执行有限数量的专业化算法(例如图形相关算法)。GPU经常具有高度并行的计算硬件，其倾向于允许它们快速处理图形数据。

近来，已经认识到GPU可用于其它非图形应用。例如，GPU上的通用计算(GPGPU)一般表示利用GPU执行传统上已经预留用于CPU的类型的通用型计算。经常可采用GPU的高度并行计算硬件来显著地加速此类计算。当以这种方式使用时，至少当正确实现时，GPU可帮助显著加速计算密集应用。

然而，使用GPU加速非图形应用的一个挑战(例如在GPGPU的情况下)涉及工作调度。为了有效地利用CPU和GPU，重要的是在CPU与GPU之间以有效方式调度和分布工作。在一个可能方法中，CPU可以仅仅向GPU卸载或指配特定任务。CPU然后可等待或执行其它任务，而GPU完成指配的任务并提供结果。然而，在这种方法中，在处理相同工作负载时在CPU与GPU之间没有实际协作。也就是说，CPU和GPU可能不同时对相同工作负载的不同部分工作。它实际上不是混合执行。

根据另一方法，CPU和GPU可参与混合执行，其中它们对在CPU和GPU上静态调度的并行工作负载的不同部分协作地工作。此类混合执行可提供在相同工作负载上同时利用CPU和GPU的潜在优点。然而，倾向于有挑战的是有效地在CPU与GPU之间调度工作负载的不同部分。例如，CPU和GPU可以不同时钟速度操作，和/或可具有不同存储器层级，和/或可具有不同的基于工作负载的性能特性。可在CPU和GPU之一上有效地执行的代码可能没有在另一个上执行得那么有效。其它竞争的工作负载和/或功率约束的存在可进一步倾向于使先验有效地调度工作负载的能力复杂化。缺点是，如果工作负载未有效调度，则CPU和GPU之一可变得负担过度，而另一个可能利用不足。

发明内容