[发明专利]基于深度学习节点计算的调度方法、设备及存储介质

说明书

本发明实施例公开了一种基于深度学习节点计算的调度方法、设备及存储介质。该调度方法包括：获取预设神经网络计算图的待计算节点；判断所述待计算节点的节点类型，所述节点类型包括硬件计算节点和软件计算节点；在所述节点类型为硬件计算节点的情况下，调度所述硬件计算节点至第一队列，并判断所述硬件计算节点对应的硬件算力模块是否被占用；在所述硬件算力模块没有被占用的情况下，将所述硬件计算节点输入至所述硬件算力模块进行计算。本发明实施例实现了图推理过程异步化，充分利用软件和硬件的资源。

技术领域

本发明实施例涉及深度学习技术，例如一种基于深度学习节点计算的调度方法、设备及存储介质。

背景技术

深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。深度学习网络通常由算法训练得来。多数情况下，算法开发人员倾向于使用已有的公开深度学习框架进行模型训练，而大部分公开深度学习框架是针对于中央处理器(Central Processing Unit，CPU)/图像处理器(Graphics Processing Unit，GPU)这类计算设备设计的。CPU/GPU采用传统的指令集架构，架构效率较低，灵活性较高。

但随着深度学习相关技术的发展，现在深度学习相关技术中对算力的要求越来越高。传统的指令集架构低效率的缺陷已经不能满足应用场景的需求。对比而言，数据流架构效率更高，从技术路线来看更加适合深度学习技术的发展趋势。然而数据流架构与指令集架构的数据表达存在较大差异：数据流架构的算子颗粒度要远大于指令集架构；数据流架构算子计算前要预先根据数据依赖，确定计算模块的排列顺序。这种差异导致了数据流芯片只适用于深度学习算子，一些定制程度高的地方依旧需要通用计算设备进行辅助处理。软件节点的存在导致了以下情况：软件节点无硬件加速效果，运行较慢；在单线程的情况下运行图计算，软件节点的运行会导致硬件空闲，不利于加速。

发明内容

本发明实施例提供一种基于深度学习节点计算的调度方法、设备及存储介质，以实现图推理过程异步化，充分利用软件和硬件的资源。

本发明实施例提供了一种基于深度学习节点计算的调度方法，该基于深度学习节点计算的调度方法包括：获取预设神经网络计算图的待计算节点；判断所述待计算节点的节点类型，所述节点类型包括硬件计算节点和软件计算节点；在所述节点类型为硬件计算节点的情况下，调度所述硬件计算节点至第一队列，并判断所述硬件计算节点对应的硬件算力模块是否被占用；在所述硬件算力模块没有被占用的情况下，将所述硬件计算节点输入至所述硬件算力模块进行计算。

一方面，本发明实施例还提供了一种基于深度学习节点计算的调度设备，该设备包括：至少一个处理器；存储装置，用于存储至少一个程序，所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明任一实施例提供的调度方法。

另一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本发明任一实施例提供的调度方法。

本发明实施例通过获取预设神经网络计算图的待计算节点；判断所述待计算节点的节点类型，所述节点类型包括硬件计算节点和软件计算节点；在所述节点类型为硬件计算节点的情况下，调度所述硬件计算节点至第一队列，并判断对应的硬件算力模块是否被占用；在所述硬件算力模块没有被占用的情况下，将所述硬件计算节点输入至所述硬件算力模块进行计算，避免了软件节点无硬件加速效果，运行时会导致硬件空闲，不利于加速的情况，实现了神经网络计算图计算过程异步化，充分利用软件和硬件的资源的效果。

附图说明

图1是本发明实施例一提供的一种基于深度学习节点计算的调度方法的流程示意图；

图2是本发明实施例二提供的一种基于深度学习节点计算的调度方法的流程示意图；

图3为本发明实施例三提供的一种基于深度学习节点计算的调度设备的结构示意图。

具体实施方式