[发明专利]运算方法、装置及相关产品

说明书

本公开涉及一种运算方法、装置及相关产品，所述产品包括控制模块，所述控制模块包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种运算方法、装置及相关产品。

背景技术

融合模式和离线模式为神经网络的两种特有的运行方式，不同于通常的逐层运行方式。其中，神经网络中一部分融合后的网络层的数据拷贝过程不再由CPU处理，而是直接在MLU板卡上完成数据拷贝、数据运算等任务。这种将多个网络层的运算过程全部合并，不经由CPU而直接在MLU上完成计算的方式即为融合模式。在融合模式的基础上，将模型脱离网络框架，变为独立于网络框架的网络模型，即为离线模型，运行离线模型的方式即为离线模式。

由于在融合模式和离线模式下，被融合的网络层数据不再流经CPU，因此用户无法获取其中某些层的运算结果。那么，在用户有Debug需求，或者是某些特殊原因需要直接获取网络中某个层的结果数据时，就会需要较为复杂的处理流程。通常采用的处理方式为：将网络在需要输出的位置进行拆分，将需要输出结果数据的网络层脱离融合模式；或者是，将需要输出结果数据的网络层进行复制，以作为额外输出使用。

上述两种处理方式中，由于脱离融合模式的网络层需要在CPU上运行，这就使的其运算速率明显下降，从而导致较为严重的性能损失；而复制网络层的方式处理历程较为复杂，其同样也会影响处理速度，导致性能损失。

发明内容

有鉴于此，本公开提出了一种运算方法，通过在Caffe模型的配置文件中定义额外输出参数，得到调整后的Caffe配置文件，通过额外输出参数表示将Caffe模型的中间结果增加到Caffe模型的输出结果中，从而在根据调整后的Caffe配置文件执行Caffe模型时，能够得到包括中间结果的Caffe模型的输出结果。相较于传统的中间结果获取方式，有效提高了运算速率，避免了模型性能的损失。

根据本公开的一方面，提供了一种运算方法，包括：

在Caffe模型的配置文件中定义额外输出参数，得到调整后的Caffe配置文件，所述额外输出参数用于表示将Caffe模型的中间结果增加到所述Caffe模型的输出结果中，所述中间结果包括所述Caffe模型中至少一个非输出层的运算结果；

根据调整后的所述Caffe配置文件执行所述Caffe模型，得到包括所述中间结果的所述Caffe模型的输出结果；

其中，所述Caffe模型为融合模型。

在一种可能的实现方式中，所述方法还包括：

根据调整后的所述Caffe文件得到Caffe离线模型，以使所述Caffe离线模型在执行时，输出包括所述中间结果的所述Caffe模型的输出结果。

在一种可能的实现方式中，所述运算方法适用于异构计算架构，所述异构计算架构包括通用处理器和人工智能处理器；

所述非输出层包括：运行在所述人工智能处理器上的融合子网络中的非输出层；所述融合子网络为：将Caffe模型中全部或分网络层进行算子融合后得到的网络。

在一种可能的实现方式中，所述额外输出参数的值包括输出标识或非输出标识，

所述额外输出参数用于表示将Caffe模型的中间结果增加到所述Caffe模型的输出结果中，包括：

所述额外输出参数的值为输出标识表示将所述Caffe模型的中间结果增加到所述Caffe模型的输出结果中。