[发明专利]任务调度方法、调度模块、推理节点和协同作业系统

说明书

本发明提供一种任务调度方法、调度模块、推理节点和协同作业系统，其中方法应用于调度模块，该方法包括：获取各推理节点的待处理信息，各推理节点协同作业，待处理信息包括对应推理节点下的待处理任务数量和/或各待处理任务的任务类型；基于各推理节点的待处理信息，以及各推理节点在协同作业中的重要性，从各推理节点中选取目标节点，所有目标节点进行任务处理所需的计算资源总和小于等于额定计算量；向目标节点发送任务处理指令，以触发目标节点进行任务处理，满足了对整体吞吐量和任务响应时间的要求，解决了单一神经网络的调度推理方案无法对多个神经网络协同工作的任务进行调度推理的问题，实现了复杂场景下的调度推理。

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务调度方法、调度模块、推理节点和协同作业系统。

背景技术

随着云端多路神经网络应用场景的广泛开展，云端多路神经网络的应用从最初的离线识别延伸为实时在线，从单一网络的应用转变为多网络协同工作。在这一过程中，不仅需满足吞吐量的需求，还要满足对任务响应时间的要求。

目前，对于单一神经网络的应用场景，通常通过增大任务的数据拼接单元的数目来提升设备使用效率以及满足整体任务吞吐量的需求，但是，上述方法限制了任务的复杂度，只对单一神经网络的任务有效，无法对多个神经网络协同工作的任务进行调度推理。

发明内容

本发明提供一种任务调度方法、调度模块、推理节点和协同作业系统，用以解决现有技术中无法对多个神经网络协同工作的任务进行调度推理的缺陷。

本发明提供一种任务调度方法，应用于调度模块，包括：

获取各推理节点的待处理信息，所述各推理节点协同作业，所述待处理信息包括对应推理节点下的待处理任务数量和/或各待处理任务的任务类型；

基于所述各推理节点的待处理信息，以及所述各推理节点在协同作业中的重要性，从所述各推理节点中选取目标节点，所有目标节点进行任务处理所需的计算资源总和小于等于额定计算量；

向所述目标节点发送任务处理指令，以触发所述目标节点进行任务处理。

根据本发明提供的一种任务调度方法，所述基于所述各推理节点的待处理信息，以及所述各推理节点在协同作业中的重要性，从所述各推理节点中选取目标节点，包括：

基于各推理节点的待处理信息，确定各推理节点下的优先任务数量，优先任务为任务类型为优先类型的待处理任务；

基于各推理节点下的优先任务数量，以及所述各推理节点在协同作业中的重要性，从所述各推理节点中选取目标节点。

根据本发明提供的一种任务调度方法，所述基于各推理节点下的优先任务数量，以及所述各推理节点在协同作业中的重要性，从所述各推理节点中选取目标节点，包括：

若存在优先推理节点，则基于各优先推理节点的待处理任务数量和协同作业权重，确定各优先推理节点的推理优先级；

基于各优先推理节点的推理优先级，确定目标节点；

所述优先推理节点为优先任务数量大于0的推理节点，所述协同作业权重是基于对应推理节点在协同作业中的重要性确定的。

根据本发明提供的一种任务调度方法，所述基于各优先推理节点的推理优先级，确定目标节点，包括：

若优先推理节点的数量大于等于第一预设数量，则选取所述第一预设数量个推理优先级最高的优先推理节点作为目标节点；

否则，将所有优先推理节点作为目标节点，并选取第二预设数量个推理优先级最高的非优先推理节点作为目标节点；