[发明专利]运算方法及装置

说明书

本公开涉及一种运算方法及装置，所述方法包括：获取待执行的神经网络运算，所述神经网络运算包括多个运算操作；基于所述多个运算操作划分出满足第一要求的多个运算子图，每个所述运算子图包括至少一个运算操作，所述第一要求包括划分出的多个运算子图中不存在孤立的运算子图，并且划分出的运算子图在与其余的运算操作和运算子图不形成循环运算的情况下，能够包括最多的运算操作；基于划分的所述多个运算子图并行执行所述神经网络运算。本公开实施例可以实现神经网络运算的并行运算。

技术领域

本公开涉及机器学习领域，尤其涉及一种神经网络运算方法、加速器、芯片、电子设备和存储介质。

背景技术

目前，越来越多针对神经网络加速器(如深度学习加速器)的硬件设计被提出，这些加速器在设计上有着各自不同的特点。尽管神经网络框架(如Caffe2,TensorFlow,MXNet)可以通过调用硬件设计者提供的高性能计算库来充分利用底层设备的性能，但同样很难打破算子之间的界限在更大的范围内进一步优化，这需要对底层硬件具备足够充分的知识，更需要底层设备本身具有非常良好的可编程性，而这两点对于快速发展的神经网络加速器都是不实际的。

相关技术中，可以采用上层框架进行神经网络运算的优化工作，例如MXNet中使用CUDA的在线编译方法在运行阶段生成多个算子整体优化后的临时kernel代码。这种方法的问题在于，只能进行简单的优化，并且对于缺乏足够可编程性的加速器难以实现。

发明内容

有鉴于此，本公开提出了一种神经网络运算方法、加速器、芯片、电子设备和存储介质。

根据本公开的一方面，提供了一种神经网络运算方法，包括：

获取待执行的神经网络运算，所述神经网络运算包括多个运算操作；

基于所述多个运算操作划分出满足第一要求的多个运算子图，每个所述运算子图包括至少一个运算操作，所述第一要求包括划分出的多个运算子图中不存在孤立的运算子图，并且划分出的各运算子图在与其余的运算操作和运算子图不形成循环运算的情况下，能够包括最多的运算操作；

基于划分的所述多个运算子图并行执行所述神经网络运算。

在一些可能的实施方式中，所述基于所述多个运算操作划分出满足第一要求的多个运算子图，包括：

基于所述神经网络运算的反向运算顺序，将第一个运算操作确定为初始子图，按照其余运算操作与该初始子图的连接顺序，依次向所述初始子图中加入运算操作；

如果将待加入的运算操作加入至所述初始子图所形成的新的子图与其他运算操作以及运算子图不存在循环运算，则将该待加入的运算操作加入至所述初始子图中形成新的子图，并继续向所述新的子图中加入下一运算操作，直至将待加入的运算操作加入至新的子图后所形成的新的子图与其他运算操作或者运算子图之间存在循环运算，则终止该新的子图的扩展，并将未加入该形成循环运算的待加入运算操作的子图作为一个满足第一要求的第一运算子图；

将与得到的第一运算子图连接的运算操作作为下一个初始子图，并基于该下一个初始子图确定其余满足第一要求的第一运算子图；

基于各第一运算子图确定划分的所述多个运算子图。

在一些可能的实施方式中，在所述基于所述多个运算操作划分出满足第一要求的多个运算子图之前，所述方法还包括：

将所述神经网络运算的多个运算操作中通过加速器以外的电子器件执行的运算操，作为一个第一运算子图。

在一些可能的实施方式中，所述基于所述多个运算操作划分出满足第一要求的多个运算子图，还包括：

将所述多个第一运算子图进一步划分成满足第二要求的多个第二运算子图，所述第二要求包括划分出的第二运算子图中的各运算操作的输入路径和输出路径最多为一个。