[发明专利]一种任务处理方法、装置、电子设备及存储介质

说明书

本发明提供一种任务处理方法，所述方法包括：根据原始任务队列中各个任务之间的依赖关系，利用任务执行仿真器对所述原始任务队列中的任务进行仿真执行，计算出各个任务的估算执行时间；根据各个任务的估算执行时间，将所述原始任务队列中各个任务的排序进行调整，获得调整任务队列；基于所述调整任务队列中各个任务之间的依赖关系，依次执行相应的任务。本申请可以基于任务的依赖关系和执行时间对原始任务队列中的任务重新排序得到调整任务队列，进而根据调整任务队列依次执行相应的任务，在执行前可以通过执行优化器对计算队列中的任务自动排序，能够实现最佳并发。大大提高了计算资源的使用效率，减少了总任务的执行时间。

技术领域

本发明涉及最大化利用AI硬件加速器算力领域，尤其涉及一种任务处理方法、装置、电子设备及存储介质。

背景技术

在AI硬件加速器（包括GPU和AI专用芯片）上执行的一系列任务通常会先放到一个或多个队列中，当AI硬件加速器资源空闲时，再从队列中取出任务并执行。通常任务放置到队列的顺序是由用户代码决定的。如图1所示，图1为现有技术中总任务执行时间的示意图，现有的技术中，AI硬件加速器直接对计算队列中的任务依次调度，启动一个进程逐个顺序处理的方式缺点是耗时较长、无法优先处理高优先级任务。多线程处理形式的线程池技术的缺点是线程总数是一定的，因而缺乏灵活性，具体是线程池中指定的线程总数较少时，仍存在耗时较长等问题，指定的总数较多时，由于多数线程处于不工作状态，导致CPU利用率很低，因此队列中任务的顺序和每个任务的执行时间会影响硬件计算资源的利用率，这便导致一些用户的代码无法实现最佳并发，使计算资源闲置，增加了总任务的运行时间。

发明内容

为了解决上述问题，本发明提供一种任务处理方法，所述方法包括：

根据原始任务队列中各个任务之间的依赖关系，利用任务执行仿真器对所述原始任务队列中的任务进行仿真执行，计算出各个任务的估算执行时间；

根据各个任务的估算执行时间，将所述原始任务队列中各个任务的排序进行调整，获得调整任务队列；

基于所述调整任务队列中各个任务之间的依赖关系，依次执行相应的任务。

进一步地、所述根据各个任务的估算执行时间，将所述原始任务队列中各个任务的排序进行调整，包括：

根据所述原始任务队列中各个任务之间的依赖关系，将所述原始任务队列中存在顺序执行关系的任务拆分成一列，获得多个拆分任务队列，其中，不同拆分任务队列中的任务可并行执行；

根据所述多个拆分任务队列中各个任务的估算执行时间，绘制时间任务图，所述时间任务图中包括各个任务的开始执行时间点；

将所述时间任务图中各个任务的开始估算执行时间点的先后排序作为各个任务新的排序，获得所述调整任务队列。

进一步地、所述根据所述多个拆分任务队列中各个任务的估算执行时间，绘制时间任务图，包括：

根据各个任务的估算执行时间，依次将每个拆分任务队列的各个任务的开始执行时间点标记在时间轴上，绘制出所述时间任务图；其中，每个拆分队列中第一个任务的开始执行的时间点相同，为所述时间任务图的起始点。

进一步地、所述将所述时间任务图中各个任务的开始估算执行时间点的先后排序作为各个任务新的排序，包括：

若所述时间任务图中目标开始估算执行时间点对应有多个任务，则将所述目标开始估算执行时间点对应的多个任务进行随机排序，获得所述目标开始估算执行时间点对应的多个任务的新的排序。

另一方面，本发明提供一种任务处理装置，包括：

执行时间确定模块，被配置为执行根据原始任务队列中各个任务之间的依赖关系，利用任务执行仿真器对所述原始任务队列中的任务进行仿真执行，计算出各个任务的估算执行时间；