[发明专利]调度方法及相关装置

权利要求书

1.一种调度方法，其特征在于，所述方法基于包含多个计算装置的服务器，所述方法包括：

接收M个运算请求，所述M个运算请求包括至少一个串行指令，所述M为正整数；

基于运算请求与目标计算装置的对应关系，从所述多个计算装置中选取与所述M个运算请求对应的至少一个目标计算装置，所述目标计算装置包括所述串行指令对应的计算装置，所述运算请求与目标计算装置的对应关系为所述目标计算装置中部署的神经网络模型与所述运算请求之间的对应关系，或所述目标计算装置与所述运算请求的属性信息之间的对应关系；

基于所述至少一个目标计算装置中每一目标计算装置执行对应的运算请求的运算，得到每一运算请求的多个中间运算结果，根据所述多个中间运算结果获取所述M个运算请求对应的M个最终运算结果；

将所述M个最终运算结果中每一最终运算结果发送至对应的电子设备；

所述基于运算请求与目标计算装置的对应关系，从所述多个计算装置中选取与所述M个运算请求对应的至少一个目标计算装置，包括：

若所述M大于1，且所述M个运算请求对应多个目标神经网络模型，从所述多个计算装置中选取与多个目标神经网络模型中每一目标神经网络模型对应的多个目标计算装置，所述多个目标神经网络模型中每一目标神经网络模型对应执行的串行指令为执行该目标计算装置对应的目标神经网络模型所对应的运算请求。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

等待第一预设时长，检测所述至少一个目标计算装置中每一目标计算装置是否得到对应的最终运算结果，若否，将所述未得到最终运算结果的目标计算装置作为延迟计算装置；

从所述多个计算装置的空闲计算装置中选取与所述延迟计算装置对应的运算请求对应的备用计算装置；

基于所述备用计算装置执行所述延迟计算装置对应的运算请求的运算。

3.根据权利要求2所述的方法，其特征在于，在所述基于所述备用计算装置执行所述延迟计算装置对应的运算请求之后，所述方法还包括：

获取所述延迟计算装置和所述备用计算装置之间最先得到的最终运算结果；

向所述延迟计算装置和所述备用计算装置之间未得到最终运算结果的计算装置发送暂停指令。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

等待第二预设时长，检测所述延迟计算装置是否得到对应的最终运算结果，若否，将所述延迟计算装置作为故障计算装置，发送故障指令，所述故障指令用于告知运维人员所述故障计算装置发生故障，所述第二预设时长大于所述第一预设时长。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

每隔目标时间阈值，更新所述服务器的散列表。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取指定神经网络模型集中每一指定神经网络模型的运算需求和所述多个计算装置中每一计算装置的硬件属性得到多个运算需求和多个硬件属性；

根据所述多个运算需求和所述多个硬件属性将所述指定神经网络模型集中每一指定神经网络模型对应的指定计算装置上部署对应的指定神经网络模型。

7.根据权利要求3-6任一项所述的方法，其特征在于，所述计算装置包括至少一个计算载体，所述计算载体包括至少一个计算单元，所述计算单元对训练的多层神经网络中一层或多层的输入数据与权值数据执行运算，或对正向运算的多层神经网络中一层或多层的输入数据与权值数据执行运算，所述运算包括：卷积运算、矩阵乘矩阵运算、矩阵乘向量运算、偏置运算、全连接运算、GEMM运算、GEMV运算、激活运算中的一种或任意组合。