[发明专利]一种深度学习推理服务的动态批处理任务调度方法及系统

权利要求书

1.一种深度学习推理服务的动态批处理任务调度方法，其特征在于：

以二维马尔可夫过程描述每个批次离开时刻的队列等任务数和离开批次的大小，确定所述二维马尔可夫过程的稳态概率，根据所述稳态概率确定深度学习推理服务系统中的平均服务延迟；

通过式(1)所示的优化模型来优化批处理任务大小的上限与所述平均服务延迟和内存使用量，

式(1)中，E(W(b))为批次大小上限b所对应平均服务延迟，b为批处理任务的批次大小上限，W(b)为服务延迟，γ为内存使用量与平均服务延迟相比的权重，m_b为批次大小上限为b时对应的内存使用量，B为批次大小上限的最大值，N为批处理任务队列中等待的最大任务数，λ为任务到达率，μ_B为批次大小为B时的服务速率；求解式(1)的优化模型确定批处理任务中的批次大小上限。

2.根据权利要求1所述的深度学习推理服务的动态批处理任务调度方法，其特征在于：

所述平均服务延迟通过式(2)计算确定，

式(2)中，E(W(b))为批次大小上限b所对应平均服务延迟，L为平均任务数，λ为任务到达率，P_block为任务的阻塞概率。

3.根据权利要求2所述的深度学习推理服务的动态批处理任务调度方法，其特征在于：

所述平均任务数通过式(3)确定，

所述阻塞概率通过式(4)确定，

式(3)和式(4)中，E(L)为平均任务数，n为批处理任务队列中等待任务数，r为批次大小，a为批处理任务的批次大小下限，b为批处理任务的批次大小上限，π_n,r为等待任务数为n批次大小为r的稳态概率，π_n,0为等待任务数为n批次大小为0的稳态概率，π_N,r为等待任务数为N批次大小为r的稳态概率。

4.根据权利要求3所述的深度学习推理服务的动态批处理任务调度方法，其特征在于，所述优化模型的求解过程包括：

初始化批处理任务的批次大小上限，及每次迭代中对批次大小上限进行调整的步长；以批次大小上限所对应的平均服务延时和内存使用量之和作为收敛参数；在每次迭代中，根据所述步长调整所述批次大小上限，当本轮迭代得到的收敛参数大于前一轮迭代的收敛参数时，以本轮迭代得到的批次大小上限作为优化模型输出的最优解。

5.根据权利要求4所述的深度学习推理服务的动态批处理任务调度方法，其特征在于，在第一轮迭代时，还包括对所述步长的调整方向进行修正的过程：当第一轮迭代得到的平均服务延迟与初始化的批次大小上限对应的平均服务延迟之差大于预设的阈值时，变更对批次大小上限进行调整的调整方向。

6.一种深度学习推理服务的动态批处理任务调度系统，其特征在于，根据权利要求1至5任一项所述的深度学习推理服务的动态批处理任务调度方法进行任务调度。