[发明专利]优化神经网络模型中原始维度算子的装置和方法

说明书

本发明涉及优化神经网络模型中原始维度算子的装置和方法，遍历神经网络模型，以识别神经网络模型的关键节点，在关键节点处置入成对维度算子，结合成对维度算子其中之一与原始维度算子，最后基于结合后的神经网络模型进行推理。本发明从关键节点出发减少神经网络中维度算子的数量，以提升网络的运行时间和减少硬件资源的消耗。

技术领域

本发明一般地涉及神经网络领域。更具体地，本发明涉及优化神经网络模型中原始维度算子的装置和方法。

背景技术

在深度神经网络的领域中，转置算子(transpose)和变形算子(reshape)被广泛的应用在数据重组和适应底层软件栈数据摆放格式。

以在GPU上计算为例，具有NCHW格式的特征图较具有NHWC格式的特征图更快。为了获得更好的性能，当数据摆放是NHWC时，通常会在对维度排列敏感的算子前置入转置算子，将维度排列转换为NCHW，如果再遇到与通道运算相关的算子时，又需要将数据摆放还原再进行运算，显然由于每个算子适合的维度摆放方式不同，导致神经网络模型中频繁置入转置算子以进行格式转换。

在处理图像数据的时候，经常遇到输入图像的维数与算子的输入维度不符合的情况，这时需要变形算子来调整输入图像的维度数量。由于每个算子可接受的维度数量不一定相同，导致神经网络模型中频繁置入变形算子以调整维度数量。

当神经网络模型中存在许多转置和变形算子时，会使得网络运行时间过长。现有的优化方案只企图优化特定算子前后的转置和变形算子，无法改善位于分支节点、合并节点以及输入/输出端的转置和变形算子。

因此，一种优化维度算子的方案是迫切需要的。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本发明的方案提供了一种优化神经网络模型中原始维度算子的装置和方法。

在一个方面中，本发明揭露一种优化神经网络模型中原始维度算子的方法，包括遍历所述神经网络模型，以：识别所述神经网络模型的关键节点；在所述关键节点处置入成对维度算子；结合所述成对维度算子其中之一与所述原始维度算子；以及基于结合后的所述神经网络模型进行推理。

在另一个方面，本发明揭露一种优化神经网络模型中原始维度算子的处理装置，包括识别模块、置入模块及结合模块。识别模块用以识别所述神经网络模型的关键节点；置入模块用以在所述关键节点处置入成对维度算子；结合模块用以结合所述成对维度算子其中之一与所述原始维度算子。

本发明试着从关键节点减少神经网络中维度算子的数量，并基于结合后的神经网络模型进行推理，以提升网络的运行时间和减少硬件资源的消耗。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1A是示出示例性的三维数组；

图1B是示出转换后的三维数组；

图2是示出变形后的三维矩阵的示意图；

图3是示出本发明实施例的处理装置的示意图；

图4是示出本发明实施例的待优化的神经网络模型的示意图；

图5是示出本发明另一实施例的待优化的神经网络模型的示意图；

图6是示出本发明另一实施例的待优化的神经网络模型的示意图；

图7是示出本发明另一实施例的待优化的神经网络模型的示意图；以及

图8是示出本发明另一实施例优化神经网络模型中原始维度算子的流程图。

具体实施方式