[发明专利]处理器处的松弛度感知、动态优先级变化

说明书

一种处理系统(100)包括任务队列(232)、耦合到任务队列的松弛度感知任务调度程序(234)以及耦合到松弛度感知任务调度程序的工作组分派器(238)。基于对与存储在所述任务队列中的多个任务相关联的松弛度值的松弛度评估，所述工作组分派器调度所述多个任务。所述松弛度评估包括确定所述多个任务中的每个任务的优先级。使用松弛度信息确定所述松弛度值，其中所述松弛度信息包括到达时间、任务持续时间、任务截止期限和工作组的数量。

背景技术

许多重要的机器学习计算应用，诸如卷积神经网络(CNN)和递归神经网络(RNN)，都具有在调度任务时必须考虑的实时截止期限。可以将任务定义为通常在例如CNN和RNN应用中使用的窄数据相依内核。当前的机器学习系统通常使用由程序员静态设置或在任务排队时的运行时设置的任务优先级，以帮助通知硬件如何调度同时提交的任务。结果，优先级水平设置得比较保守，以确保满足截止期限。但是，仅考虑优先级水平是不够的，因为优先级水平通常不会提供有关何时必须完成任务的信息，而只是提供任务的相对重要性。此外，分配给各个任务的优先级水平不会为硬件提供何时必须共同完成一系列相关任务的全局观点。

已部署以满足中央处理单元(CPU)和图形处理单元(GPU)的实时截止期限的任务调度解决方案是抢占优先级较低的任务，以执行优先级较高的任务。这种抢占技术通常由多核CPU使用，且很少由GPU使用。大多数抢占方案受操作系统指导，并且由于抢占的开销，通常会降低总体吞吐量。由于GPU的大量上下文状态，抢占开销在GPU上尤其成问题。此外，OS与加速器之间的通信延迟使立即更改变得困难。

已部署以满足实时截止期限的另一个任务调度解决方案是同时执行多个队列中的任务，并将唯一的优先级与不同队列中的任务相关联。例如，某些GPU支持四个优先级水平(图形、高、中、低)，这些优先级水平有助于将有关任务的实时约束的信息传达给调度程序。但是，由于高级软件提供的信息是静态的，并且仅与单个任务相关联，因此调度程序无法确定优先级如何与GPU的当前全局情况相关。

其他解决方案使用了持久线程或内核以及低级用户运行时来处理并发任务。对于当前的RNN推理应用，持久内核技术已变得特别流行。在充分了解任务运行时并且可用硬件资源保持不变的情况下，持久内核可以充分发挥作用，而在任务运行时和硬件资源动态变化时，持久内核会崩溃。因此，期望一种改进的任务调度技术，其改善延迟并利用动态调度应用。

附图说明

通过参考附图，可更好地理解本公开，并且它的许多特征和优点对本领域技术人员来说变得显而易见。在不同附图中使用相同附图标号来指示类似或相同项。

图1是根据一些实施方案的实现松弛度感知任务调度的处理系统的框图。

图2是根据一些实施方案的实现松弛度感知任务调度的图形处理单元的框图。

图3是根据一些实施方案的具有在实现松弛度感知任务调度时使用的表和队列的松弛度感知任务调度程序的框图。

图4是根据一些实施方案的松弛度感知任务调度程序的示例性操作的框图。

图5是根据一些实施方案的松弛度感知任务调度程序的示例性操作的框图。

图6是示出根据一些实施方案的用于利用处理系统的部件的至少一部分来执行松弛度感知任务调度的方法的流程图。

具体实施方式

参考图1至图6，松弛度感知任务调度系统基于例如针对由中央处理单元(CPU)或存储器提供给图形处理单元(GPU)的任务所计算的松驰度来对任务和/或作业进行优先级排序，包括切换与作业相关联的任务的优先级的时间。松弛度感知任务调度系统通过增强任务调度程序以基于与作业相关联的截止期限动态地更改任务的优先级而减轻了调度问题。