[发明专利]分布式深度学习推理云平台任务调度方法

说明书

本发明提供的一种分布式深度学习推理云平台任务调度方法，包括以下步骤：S1.将用户在云平台上创建的任务输入任务队列中；S2.任务控制器从任务队列中提取目标任务，并将目标任务对应的服务分割成若干子服务进行分布式处理；S3.并行模式选择器根据子服务生成相应的模型；S4.任务执行器根据并行模式选择器所产生的模型执行对应的子服务；通过本发明，能够将用户所提交的任务在云环境下进行分布式处理，对于分布式操作下的每一个节点选择加速卡资源状态下的最优并行参数，从而提高任务的运行效率，并能够确保云环境下的加速卡设备的利用率。

技术领域

本发明涉及一种服务调度方法，尤其涉及一种分布式深度学习推理云平台任务调度方法。

背景技术

深度学习的训练与推理任务是一种计算密集型任务，但推理任务与训练所不同的是推理任务的计算周期不是长时间与固定某一时间段，而是随着时间的变化而变化，通常在白天到夜晚计算密集流量高，而在夜晚至凌晨流量低计算量相对较少。现有技术中，对于云平台的推理任务的运行效率较低，而且云环境下的加速卡设备的利用率也较低。

因此，为了解决上述技术问题，亟需提出一种新的技术手段。

发明内容

有鉴于此，本发明的目的是提供一种分布式深度学习推理云平台任务调度方法，能够将用户所提交的任务在云环境下进行分布式处理，对于分布式操作下的每一个节点选择加速卡资源状态下的最优并行参数，从而提高任务的运行效率，并能够确保云环境下的加速卡设备的利用率。

本发明提供的一种分布式深度学习推理云平台任务调度方法，包括以下步骤：

S1.将用户在云平台上创建的任务输入任务队列中；

S2.任务控制器从任务队列中提取目标任务，并将目标任务对应的服务分割成若干子服务进行分布式处理；

S3.并行模式选择器根据子服务生成相应的模型；

S4.任务执行器根据并行模式选择器所产生的模型执行对应的子服务。

进一步，步骤S2中，在任务控制器从任务队列中提取目标任务前，由资源监控器判断当前是否可执行任务：

若当前集群资源无空闲或者空闲资源较低，那么任务队列中的任务将处于等待状态；

若当前集群资源具有空余并满足任务执行需求时，则判断当前可执行任务。

进一步，任务控制器提取目标任务具体如下：

当前可执行任务时，任务控制器从任务队列中选择最先进入到任务队列的任务作为目标任务。

进一步，步骤S2中，任务控制器判断目标任务是否具有对应的服务，若不存在，则创建目标任务的服务。

进一步，并行模式选择器基于Q-learning算法选择并行参数并生成相应的模型，具体如下：

基于任务完成时间T、加速卡利用率U以及加速卡现存使用量M构建奖励函数Reward：

Reward＝μ₁N(T_m-T)+μ₂N(U_m-U)+μ₃N(M_m-M)；

其中，μ₁、μ₂和μ₃均为调整系数,N(·)为归一化函数；

构建状态集S，其中，状态集S由推理平均准确率A、推理任务完成时间T、加速卡利用率U和加速卡现存使用量M构成；