[发明专利]调度方法及相关装置

权利要求书

1.一种调度方法，其特征在于，所述方法基于一个服务器，所述一个服务器包含多个计算装置，所述方法包括：

接收多个运算请求；

若所述多个运算请求对应一个目标神经网络模型，基于每一计算装置中部署的神经网络模型或每个运算请求的属性信息，从所述多个计算装置中选取与所述目标神经网络模型对应的目标并行计算装置；

基于所述目标并行计算装置对所述多个运算请求进行并行计算，得到多个最终运算结果；

若所述多个运算请求对应多个目标神经网络模型，基于每一计算装置中部署的神经网络模型或每个运算请求的属性信息，从所述多个计算装置中选取与多个目标神经网络模型中每一目标神经网络模型对应的多个目标串行计算装置；

基于所述多个串行目标计算装置中每一目标计算装置对所述目标计算装置对应的运算请求进行计算，得到所述多个最终运算结果；

将所述多个最终运算结果中每一最终运算结果发送至对应的电子设备；

所述运算请求的运算任务包括测试任务和训练任务，所述基于每一计算装置中部署的神经网络模型，从所述多个计算装置中选取与所述目标神经网络模型对应的目标并行计算装置，包括：

若目标运算请求的运算任务为测试任务，从所述多个计算装置中选取包括所述运算任务对应的目标神经网络模型的前向运算的计算装置，得到多个目标计算装置，所述目标运算请求为所述多个运算请求中的任一运算请求；

若所述运算任务为训练任务，从所述多个计算装置中选取包括所述目标神经网络模型的前向运算和后向训练的计算装置，得到所述多个目标计算装置；

从所述多个目标计算装置中选取所述目标并行计算装置。

2.根据权利要求1所述的方法，其特征在于，所述基于每个运算请求的属性信息，从所述多个计算装置中选取与所述目标神经网络模型对应的所述目标并行计算装置，包括：

根据所述多个运算请求中每一运算请求的属性信息从辅助调度算法集中选取辅助调度算法，所述辅助调度算法集包括以下至少一项：轮询调度算法、加权轮询算法、最少链接算法、加权最少链接算法、基于局部性的最少链接算法、带复制的基于局部性最少链接算法、目标地址散列算法、源地址散列算法；

根据所述辅助调度算法从所述多个计算装置中选取所述目标并行计算装置。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

等待第一预设时长，检测所述目标并行计算装置是否得到所述多个最终运算结果，若否，从所述多个计算装置的空闲计算装置中选取与所述目标神经网络模型对应的备用计算装置；

基于所述备用计算装置对所述多个运算请求进行并行运算。

4.根据权利要求3所述的方法，其特征在于，在所述基于所述备用计算装置并行运算所述多个运算请求之后，所述方法还包括：

获取所述目标并行计算装置和所述备用计算装置之间最先得到所述多个最终运算结果；

向所述目标并行计算装置和所述备用计算装置之间未得到最终运算结果的计算装置发送暂停指令。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

等待第二预设时长，检测所述目标并行计算装置是否得到所述多个最终运算结果，若否，发送故障指令，所述故障指令用于告知运维人员所述目标并行计算装置发生故障，所述第二预设时长大于所述第一预设时长。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

每隔目标时间阈值，更新所述服务器的散列表。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取指定神经网络模型集中每一指定神经网络模型的运算需求和所述多个计算装置中每一计算装置的硬件属性得到多个运算需求和多个硬件属性；

根据所述多个运算需求和所述多个硬件属性将所述指定神经网络模型集中每一指定神经网络模型对应的指定计算装置上部署对应的指定神经网络模型。

8.根据权利要求4-7任一项所述的方法，其特征在于，所述计算装置包括至少一个计算载体，所述计算载体包括至少一个计算单元。