[发明专利]深度学习推理引擎的调度方法、装置、设备和介质

权利要求书

1.一种深度学习推理引擎的调度方法，包括：

响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；

计算每个推理引擎执行所述类型的当前推理任务后的总负载；

比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；

将所述目标推理引擎的索引返回至所述应用层，其中，所述索引用于表示推理引擎的调用路径。

2.根据权利要求1所述的方法，其中，所述计算每个推理引擎执行所述类型的当前推理任务后的总负载，包括：

获取所述每个推理引擎的历史负载，和每个推理引擎执行所述类型的推理任务的负载；

分别计算所述每个推理引擎的历史负载与其执行所述类型的推理任务的负载的和值，将所述和值作为所述每个推理引擎执行所述类型的当前推理任务后的总负载。

3.根据权利要求2所述的方法，其中，所述每个推理引擎执行所述类型的推理任务的负载，包括：

每个推理引擎执行所述类型的推理任务的历史平均负载；或者

每个推理引擎上一次执行所述类型的推理任务的负载。

4.根据权利要求1-3中任一项所述的方法，还包括：

接收所述每个推理引擎执行每个推理任务的负载反馈消息，其中，所述负载反馈消息中包括推理任务的类型和负载；

根据所述负载反馈消息，保存所述每个推理引擎执行过的推理任务类型及其负载。

5.根据权利要求1所述的方法，其中，所述根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎，包括：

将所述总负载中值最小的总负载对应的推理引擎，作为执行所述当前推理任务的目标推理引擎。

6.一种深度学习推理引擎的调度装置，包括：

类型确定模块，用于响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；

计算模块，用于计算每个推理引擎执行所述类型的当前推理任务后的总负载；

比较模块，用于比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；

返回模块，用于将所述目标推理引擎的索引返回至所述应用层，其中，所述索引用于表示推理引擎的调用路径。

7.根据权利要求6所述的装置，其中，所述计算模块包括：

获取单元，用于获取所述每个推理引擎的历史负载，和每个推理引擎执行所述类型的推理任务的负载；

计算单元，用于分别计算所述每个推理引擎的历史负载与其执行所述类型的推理任务的负载的和值，将所述和值作为所述每个推理引擎执行所述类型的当前推理任务后的总负载。

8.根据权利要求7所述的装置，其中，所述每个推理引擎执行所述类型的推理任务的负载，包括：

每个推理引擎执行所述类型的推理任务的历史平均负载；或者

每个推理引擎上一次执行所述类型的推理任务的负载。

9.根据权利要求6-8中任一项所述的装置，还包括：

保存模块，用于接收所述每个推理引擎执行每个推理任务的负载反馈消息，其中，所述负载反馈消息中包括推理任务的类型和负载；根据所述负载反馈消息，保存所述每个推理引擎执行过的推理任务类型及其负载。

10.根据权利要求6所述的装置，其中，所述比较模块具体用于：

比较所述每个推理引擎的总负载，将所述总负载中值最小的总负载对应的推理引擎，作为执行所述当前推理任务的目标推理引擎。