[发明专利]一种计算资源感知的任务调度方法

说明书

本发明公开了一种计算资源感知的任务调度方法，根据任务的应用类型属性对待处理任务进行分组，将各组中不同类型的任务按截止时间进行排序，将排序后的任务根据延迟需求对不同类型的任务进行分组打包得到多个任务块，对任务块的截止时间进行更新，将任务块放入执行队列后按截止时间进行升序排序得到基本调度方案；根据待处理任务属性和计算资源，对潜在的会错过截止时间的高优先级任务进行重新调度，在保证系统吞吐率和延迟的同时充分考虑各任务属性，对执行顺序进行调整，尽量避免任务错过截止时间，充分利用多核设备并行计算优势，采用细粒度的任务调度对计算资源进行灵活分配，确保高优先级的任务不会错过截止时间，得到了高效的任务调度结果。

技术领域

本发明涉及数据处理技术领域，具体涉及一种计算资源感知的任务调度方法。

背景技术

深度学习技术广泛应用于图像识别、自然语言处理、推荐系统等领域。传统的冯诺依曼架构的通用处理器由于存储计算的分离而效率低下，这使得它很难满足深度学习应用不断增长的计算速度和能效需求。因此，许多高效的深度学习处理器架构被提出并广泛应用于深度学习应用的推理加速中。深度学习处理器等设备往往能够通过分批处理大量的深度学习推理任务来达到最佳的吞吐率，这些设备可以通过神经网络中权重参数的复用、向量矩阵等数值运算的优化、主机与设备间通信开销的优化等手段来提高设备的利用率，批量处理更加注重吞吐率，使得该模式在任务延迟上不具备优势。

在延迟敏感的系统中，为任务设置较大的批大小往往会损害单个任务的处理延迟，所以实际应用中任务常常划分成较小的批大小进行分批处理。一种常用的调度方法是动态自适应批大小，它通过为任务设置一个执行时间阈值，例如100毫秒，并在该时间阈值内处理尽可能多的任务，来平衡设备的吞吐率和延迟，但是这种方法存在下述问题：

该方法没有很好地考虑不同任务的优先级和截止时间，简单地进行批量打包会使得不同优先级和截止时间的任务掺杂在一起，导致高优先级的任务错过截止时间，而低优先级的任务却被提前处理，是一种粗粒度的任务调度方法，它没考虑到利用多核处理设备的优势，没有对任务进行灵活地分配，无法进一步确保高优先级的任务不会错过截止时间。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中任务调度方法未全面考虑任务属性及计算资源情况对任务调度效果差的缺陷，从而提供一种计算资源感知的任务调度方法。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种计算资源感知的任务调度方法，包括如下步骤：

获取待处理任务对应的属性及任务执行的延迟需求，所述属性包括应用类型、任务到达时间、任务截止时间和任务的优先级；

根据应用类型对待处理任务进行分组，将各个组中不同类型的任务按截止时间进行排序，将排序后的任务根据任务执行的延迟需求，对不同类型的任务进行分组打包得到多个任务块，接着对任务块的截止时间进行更新，将任务块放入执行队列后按截止时间进行升序排序，得到基本调度方案；

根据待处理任务属性和计算资源，对基本调度方案中潜在的会错过截止时间的高优先级任务进行重新调度，得到最终的调度方案。

在一实施例中，根据待处理任务属性和计算资源，对基本调度方案中潜在的会错过截止时间的高优先级任务进行重新调度，得到最终的调度方案的步骤，包括：