[发明专利]深度学习推理引擎的调度方法、装置、设备和介质

说明书

本申请公开了一种深度学习推理引擎的调度方法、装置、设备和介质，涉及人工智能、深度学习和芯片技术。具体实现方案为：响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；计算每个推理引擎执行所述类型的当前推理任务后的总负载；比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；将所述目标推理引擎的索引返回至所述应用层，其中，所述索引表示推理引擎的调用路径。本申请实施例能根据各推理引擎实际的算力来分配推理引擎，从而提高系统性能。并且，在推理引擎应用于人脸识别时，能提高人脸识别的速度和执行效率。

技术领域

本申请涉及计算机领域，尤其涉及一种人工智能、深度学习和芯片技术，具体涉及一种深度学习推理引擎的调度方法、装置、设备和介质。

背景技术

随着深度学习技术的不断发展和成熟，深度学习技术不断被应用于解决各行各业各场景遇到的问题，比如人脸识别等。其中，使用专用的AI(Artificial Intelligence，人工智能)芯片来运行深度学习模型的推理逐渐成为主流。

一般来讲，用于运行深度学习模型的AI芯片和CPU一样，会有很多个物理核，同时也可能有多个深度学习模型运行在同一个AI芯片上，且每个深度学习模型的运行时间不一样。那么，如何充分利用AI芯片所有物理核的算力来尽可能地提高系统性能，成为重中之重。

发明内容

本申请实施例提供一种深度学习推理引擎的调度方法、装置、设备和介质，以提高系统性能。

第一方面，本申请实施例提供了一种深度学习推理引擎的调度方法，包括：

响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；

计算每个推理引擎执行所述类型的当前推理任务后的总负载；

比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；

将所述目标推理引擎的索引返回至所述应用层，其中，所述索引用于表示推理引擎的调用路径。

第二方面，本申请实施例还提供了一种深度学习推理引擎的调度装置，包括：

类型确定模块，用于响应于来自应用层的针对当前推理任务的调度请求，确定所述当前推理任务的类型；

计算模块，用于计算每个推理引擎执行所述类型的当前推理任务后的总负载；

比较模块，用于比较所述每个推理引擎的总负载，根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎；

返回模块，用于将所述目标推理引擎的索引返回至所述应用层，其中，所述索引用于表示推理引擎的调用路径。

第三方面，本申请实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的深度学习推理引擎的调度方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的深度学习推理引擎的调度方法。

第五方面，本申请实施例还提供了一种AI芯片，包括至少一个推理引擎，还包括调度器，用于执行本申请任意实施例所述的深度学习推理引擎的调度方法。