[发明专利]多处理器并行神经网络加速方法、装置、设备和存储介质

说明书

本发明提供了一种多处理器并行神经网络加速方法、装置、计算机设备和存储介质，属于神经网络处理领域，具体包括获取所述多处理器中各处理器运行神经网络的理论运算过程，所述多处理器包含多种不同类型的处理器；统计整个神经网络中每一层层结构的计算量；基于所述神经网络的层连接关系，将所述神经网络拆分成多个子网络；根据所述理论运算过程和所述计算量将所述子网络分配到所述处理器生成多种组合，并纪录各组合的处理器运行时间；筛选出所述处理器运行时间最少的组合，并将所述子网络固定分配给所述处理器。通过本申请的处理方案，不受第三方框架的限制，能够快速的实现卷积神经网络的部署。

技术领域

本发明涉及神经网络处理领域，具体涉及一种多处理器并行神经网络加速方法、装置、计算机设备和存储介质。

背景技术

目前人工智能的发展已经很多年，越来越多的机器上部署有人工智能，其中卷积神经网络是较为常用的，且在图像视觉上有很广的应用。为了实现各器件神经网络的快速安装，一般需要在高性能机器上训练模型，再在移动端(手机上，嵌入式系统上)进行部署。一般设定手机上运行是神经网络的计算。随着现在需求的升高，很多卷积神经网络越来越复杂。神经网络越大，计算量就越大，推理的计算时间就越长，在移动端，计算能力有限，以及电池容量的限制，一些大的神经网络，整个计算过程要很长，有些甚至需要几分钟或者更多的时间。如果把网络变小，很多功能无法很好的实现。因此受手机处理器计算能力的限制和卷积神经网络需要巨大计算，很多场景下都使用GPU来进行推理计算的加速，同时很多处理器厂家对手机处理器增加了DSP、NPU、APU等用来提高神经网络计算的协作处理器。如何使用处理器上这些来对神经网络的加速成了各应用程序需要解决的问题。

发明内容

因此，为了克服上述现有技术的缺点，本发明涉提供了一种不受第三方框架的限制，能够快速的实现卷积神经网络的部署的多处理器并行神经网络加速方法、装置、计算机设备和存储介质。

为了实现上述目的，本发明提供一种多处理器并行神经网络加速方法，包括：获取所述多处理器中各处理器运行神经网络的理论运算过程，所述多处理器包含多种不同类型的处理器；统计整个神经网络中每一层层结构的计算量；基于所述神经网络的层连接关系，将所述神经网络拆分成多个子网络；根据所述理论运算过程和所述计算量将所述子网络分配到所述处理器生成多种组合，并纪录各组合的处理器运行时间；筛选出所述处理器运行时间最少的组合，并将所述子网络固定分配给所述处理器。

在其中一个实施例中，获取所述多处理器中各处理器运行神经网络的理论运算过程，包括：获取所述多处理器中各处理器分别运行所述神经网络的输入层、卷积层、池化层、全连接层或者神经网络其他层的理论运算过程。

在其中一个实施例中，所述统计整个神经网络中每一层层结构的计算量，包括：统计整个网络中整个神经网络中每一层层结构需要的乘法和加法的次数；计算所述次数对应的计算量。

在其中一个实施例中，所述基于所述神经网络的层连接关系，将所述神经网络拆分成多个子网络，包括：根据所述计算量的数值，逐层获取层结构以及与该层结构数据处理相关的关联层；判断所述关联层是否与多个层结构并行关联；确定判定为否的关联层与相关的所述层结构属于一个子网络。

在其中一个实施例中，所述根据所述理论运算过程和所述计算量将所述子网络分配到所述处理器生成多种组合，包括：根据所述计算量确定可运行所述子网络的所述处理器；判断所述子网络是否存在可并行运行的关联网络；将判定存在可并行运行的子网络和关联网络分配到不同的所述处理器上，生成多种所述子网络和所述处理器组合。